熟练掌握Python的基本语法，拥有良好的编码规范和对面向对象编程的理解。
熟练掌握MySQL、MongoDB、Redis数据库的常规操作。
熟练使用re正则、lxml与XPath、BeautifulSoup网页信息抽取技术。
熟练掌握使用airtestIDE、Mitmproxy、Fiddler对手机app进行数据自动化抓取工具。
熟练使用selenium自试动化测。
掌握js加密解密、js逆向、hook、定时调度等破解手段。
掌握 防调试，代码混淆，webpack打包等防爬虫逆向。
掌握微信小程序逆向。
掌握常见的爬虫、反爬虫知识及使用代理ip及Cookie池等反爬的应对策略。
熟悉Scrapy爬虫框架，能够使用多进程、多线程技术爬取数据。
熟悉数据库清洗、去重等处理数据手段以及定时调度框架APScheduler。
熟悉常用前端网页结构,包括Html，css，js， bootstrap，jquery。
熟悉常用后端框架Django、DRF、Flask能独立完成系统搭建。
熟悉 Linux 基本命令,Linux 部署爬虫项目等。
了解Numpy，Pandas数据分析，数据可视化。

项目名称： 爬取短视频相关信息
项目描述：分析APP信息存放位置，爬取抖音、小红书、快手、皮皮虾上面视频标题内容时间以及前五百条评论。
责任描述：
1. 一些APP没有网页版只能通过airtestIDE、Mitmproxy、Fiddler自动化抓包工具进行抓包处理。
2. 解决自动抓包工具中抓取相同数据的问题。
3. 优化项目提高抓取速度。
4. 多表存储，评论和内容为一对多的关系存储。