北京仁智信
个人
ID:305928
爬虫工程师
5年
500元/8小时
技术:根据需要爬取的数据进行需求分析,分析目标网站的网站结构和一些反爬手段;
通过requests、scrapy、scrapy-redis、xpath等技术手段编写爬虫程序进行内容抓取,对抓取到的数据进行清洗过滤,分表存储
数据的去重,清洗,对于网站反爬,检测验证码,制定具体应对措
项目:娱乐指数网站的数据采集,通过分析网站的加密参数以及反爬手段,获取网站的数据,主要通过逆向分析模拟加密参数,发送请求,获取网站的数据,通过数据库存储等等