1、熟练掌握 Python 基础,理解面向对象编程思想,熟练使用多线程、携程;
2、熟悉浏览器网络协议和网络爬虫原理,有一定的JS基础;
3、熟练掌握Scrapy、Pyspider等主流数据采集框架;
4、熟练掌握Xpath,pyquery、bs4、re等结构化或半结构化的数据解析库;
5、熟练使用Charles、Fiddler、httpcanary、小程序反编译等常用的抓包工具;
6、熟练使用numpy,pandas等数据清洗和数据处理工具库;
7、熟练使用Linux 系统,主要开发环境为Ubuntu/MacOS;
8、熟练掌握 Git 进行项目的代码管理和团队协作开发;
9、熟练使用MySQL 、MongoDB、Redis等数据库,熟练运用各种SQL函数及SQL优化;
10、熟练掌握过反调试技巧,JS HOOK加密参数技巧,熟悉常见的反爬策略并能给予对应的解决办法;
11、熟悉爬虫数据的采集生产流程,对分布式系统和流批一体有一定的理解;
12、具有良好的数据结构与算法基础;
1.某团APP店铺信息采集
2.某盾逆向破解
3.某数逆向破解
4.某聘逆向破解
5.360panyun逆向破解
6.1688逆向破解
7.某程逆向破解