做的爬虫有各大电商(天猫，京东，国美，苏宁等)的爬虫，地产，各大论坛，今日头条，新浪等数百个网站的爬虫
其中一个项目名称：新浪网分类资讯分布式爬虫：
项目简介：
1. 这个项目是对新浪网分类资讯新闻爬取的分布式实现。Windows 10做Master端，多个Linux端做Slave端。采用scrapy-redis分布式框架实现爬虫集群，分布式使用Redis实现，存储Request请求和指纹集合，并且对各个Slave端爬虫实现集中管理和控制，

2. 利用Redis的高并发和I/O读写来实现高速下载，并且可以通过扩展Redis集群和Slave集群来应对性能瓶颈。采用MongoDB做为本地数据库，将资讯新闻按所属大类、子类以及标题和内容，保存在MongoDB中。同时每次下载前会检查请求指纹，防止重复下载，避免资源浪费。