项目一:乡村振兴业务板块采集清洗
项目背景:配合公司乡村振兴业务板块
责任描述:
1.负责农机补贴、全国投资,环评等相关数据全量数据采集和增量采集运维
2.主要破解sm相关加密和验证码识别
3.把爬取到的数据清洗去重入库(上千万)
项目二:证照信息采集
项目背景:采集各个维度证照数据,并结合企业数据,进行网站展示
责任描述:
1.本项目主要采集证照相关网站
2.增量采集,实时抓取
3.使用代理ip,伪造header、破解瑞数等技术来大批量获取数据
4.数据清洗,去重,更新到公司相关证照库
项目三:风险处罚采集数据采集清洗
项目背景:配合公司项目需要,降低企业风险
责任描述:
1.采集总量八千个左右各个部委处罚网站数据,并对增量数据更新
2.进行持续采集,自动采集新处罚的公司
3.主要运用到的技术加速乐、极验,对称和非对称加密,瑞数等