章鱼风云互联网科技有限公司
个人
ID:198547
爬虫工程师
3年
500元/8小时
技术:有完整的大型爬虫设计和开发经验。
非常了解scrapy框架, requests,urllib,beautifulsoup等第三方库,并使用它们进行抓取任务。
熟练使用xpath,css,正则表达式等对数据做清理。
轻松应对常用的反爬技术,如模拟登录、IP/UA代理池、数字、
项目:一、18年世界杯爬虫。
爬取世界杯比赛期间比赛的实时相关数据(当时的数据比视频信号快接近10秒),并通过公众号对订阅用户进行推送。
分组的各个球队的信息,包括榜单,积分,球员资料等。
世界杯新闻聚合,涉及的网站有FIFA官网、腾讯体育、新浪体育、虎扑、ESpn、部分世界