项目名称：分布式爬虫爬取北京市企业信用信息网

项目描述：

这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据

我的职责

首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。

同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，

最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。

其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网。