1.python爬虫(主web端),可接数据爬虫,js逆向等
2.数量掌握flask,可写后端接口,
3.熟练掌握Selenium、Airtest等自动化工具
4.简单掌握pc界面编写
5.可以定制脚本工具
有大量爬虫经验,有丰富的js逆向经验,还原过瑞数vmp、头条、抖音(web端)、知乎、携程等算法,验证码方面:极验、易盾等
责任描述:负责设计及编写爬虫程序,对爬虫代码进行优化及维护。 项目描述:对某程酒店数据进行全量采集 以多进程、多线程加上 redis 为队列实现爬虫框架,逆向还原了某程的算法,通过接口爬取数据。
主要针对上了某数vmp的网站进行逆向,还原相关的算法,其主要有214、363、406长度的cookie,以及后缀的生成。