昆山工业研究院
个人
ID:127748
数据工程师
2年
500元/8小时
技术:Python:
(1)精通Python爬虫技术,能针对各种反爬虫技术(包括验证码,滑块等)进行破解。精通scrapy框架,request,selenium,urllib等技术。
(2)熟悉各种机器学习、深度学习、强化学习算法,熟悉特征工程方法,熟悉sklearn,keras,
项目:(1)爬取顺企网,黄页88,电信黄页,慧聪网等多个网站企业名录,对名录进行去重,获取去重后的5000w企业名录。项目使用Python语言开发,构建基于redis的分布式爬虫,多线程异步爬取,最终数据存入mongodb。
(2)爬取国家企业信用信息公示系统,商标网,企查查,天眼查