网易集团
个人
ID:222766
高级爬虫工程师
5年
800元/8小时
技术:掌握Python、Java等编程语言,了解多线程、多进程、网络通信等编程相关知识;
掌握网页抓取原理,了解TCP/HTTP协议、Html/Js/Css、Ajax等技术,熟悉一般的网站登陆原理;
具有实际爬虫开发工作经验,熟悉常见爬虫框架和工具,比如pyspider, scra
项目:WechatSogou - 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典。
DouBanSpider - 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书,按评分排名依次存储,存储到Excel中,