1. 熟练使用Python语言，掌握Linux常用的命令
2. 熟练使用 MySQL，Mongodb，Redis数据库
3. 熟练使用正则表达式,Xpath，bs4等解析工具
4. 熟练破解js参数加密
5. 熟练使用scrapy，scrapy-redis分布式爬虫，并修改部分源码
6. 熟练使用多线程，多进程，协程等
7. 熟悉selenium&Chorme自动化测试工具，fiddler抓包工具
8. 熟悉前端页面html, css js等知识，熟悉http, https,tcp,udp等网络协议
9. 熟练使用numpy,pandas,对数据进行清洗

天眼查爬虫，利用python request抓取天眼查公司主要人员和对外投资关系，存入mysql
微博日千万爬虫，利用scrapy-redis实现每天一千万+微博数据抓取，存入mysql
大词林爬虫，破解文本混淆加密，抓取实体关系
医疗百科爬虫，
巨潮资讯爬虫
新浪网易财经爬虫，
裁判文书网爬虫，破解加密参数，抓取数据