1.爬虫方面
熟练掌握Python语言，熟练使用Python标准库，可以快速学习上手流行的第三方库
熟练掌握MySQL，熟悉MongoDB，Redis等常见数据库
熟练使用Scrapy框架爬取数据
熟练掌握各种反扒机制
熟练使用requests等爬虫相关模块
熟悉HTML/JavaScript/CSS/Ajax等web技术知识
熟练掌握网页抓取原理及技术，熟悉基于正则表达式、XPath、CSS选择器、等网页信息抽取技术，从结构化的和非结构化的数据中获取信息
理解基于Cookie的登录原理，熟悉应用IP池、Headers认证等
熟悉scrapy-redis分布式，增量式爬虫
熟悉Django框架及web后端开发
熟悉Fiddler，charles工具抓取移动端APP数据