1、熟悉网络通信编程相关知识,有良好编码习惯；
2、熟练掌握Linux(ubuntu)，MacOS，windows系统中常见操作,能独立搭建python开发环境,会使用pycharm，jupyter，vim进行编程开发；
3、熟练面向对象的开发方式与面向对象编程思维；
4、熟练掌握关系型mysql数据库语句和非关系型mongodb，redis的基本操作；
5、熟练掌握请求库urllib，Requests，Selenium可对ajax加载或JS渲染网页进行爬取使用,掌握爬虫开发的常见技术与反爬技术，掌握正则表达式，bs4，css选择器，xpath文本分析技术，有简单识别验证码经验；
6、熟悉运用爬虫的多线程，快速进行爬虫程序；
7、熟练运用Scrapy框架，掌握Scrapy-Redis分布式；
9、.熟悉运用浏览器抓包功能和Flidder使用；
10、熟悉掌握Numpy，Pandas，Matplotlib等数据分析及数据可视化工具；
11、熟悉掌握jieba和wordcloud的使用根据词频分析来进行图示化显示；
12、了解机器学习中朴素贝叶斯,决策树,线性回归,概率论原理；
13、掌握Html，Css，ajax掌握前端基础开发；
14、掌握Django框架能进行网页后端的开发；
15、掌握开源工具Github,码云；

1、爬取主流视频网站评论和信息
2、爬取基金内容舆情分析
3、汽车网站图片
4、模拟淘宝登陆爬取
5、app爬取
6、制作抢课代码
等等。。。。。。。。。。。