天极传媒集团
个人
ID:247022
爬虫工程师
2年
500元/8小时
技术:我主要用Python写爬虫,掌握多线程爬虫,理解http协议掌握理解session和cookies。GET方法和POST方法的区别等,
掌握:
Web前端的知识:HTML, CSS, JavaScript, DOM, DHTML, Ajax, jQuery,json等;
正
项目:项目名称:分布式爬虫爬取北京市企业信用信息网
项目描述:
项目介绍
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏,爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求,并通过scra