案例介绍
此项目实现将单机的新浪微博爬虫（见《新浪微博爬虫分享（一天可抓取 1300 万条数据）》）重构成分布式爬虫。
Master机只管任务调度，不管爬数据；Slaver机只管将Request抛给Master机，需要Request的时候再从Master机拿。
开发语言：Python2.7
开发环境：64位Windows8系统，4G内存，i7-3612QM处理器。
数据库：MongoDB 3.2.0、Redis 3.0.501
（Python编辑器：Pycharm；MongoDB管理工具：MongoBooster；Redis管理工具：RedisStudio）
爬虫框架使用 Scrapy，使用 scrapy_redis 和 Redis 实现分布式。
分布式中有一台机充当Master，安装Redis进行任务调度，其余机子充当Slaver只管从Master那里拿任务去爬。原理是：Slaver运行的时候，scrapy遇到Request并不是交给spider去爬，而是统一交给Master机上的Redis数据库，spider要爬的Request也都是从Redis中取来的，而Redis接收到Request后先去重再存入数据库，哪个Slaver要Request了再给它，由此实现任务协同。
案例图片
相似案例推荐
其他人才的相似案例推荐
-
智能文本标注训练平台
文本标注训练与可视化基于文本类的结构化、半结构化和非结构化数
-
工业设备故障知识图谱平台
基于变压器故障知识整合，整合电力设备故障检修领域内的海量、离
-
医疗影像检测研究
基于反复注意力机制残差网络的新冠肺炎医疗影像自动诊断模型，由
-
道路目标检测
利用剪枝优化技术对基于YOLOv4的道路目标检测模型进行轻量
-
养老软件
独立开发前后台功能，使用fastadmin框架，包含产品需求
-
企业级聊天机器人对话系统
前台基于Java springboot实现，连接MySQL数
-
自动化爬取
通过人机交互的方式进行目标数据的爬取，实现模拟人为动作，避开
-
消息批量发送
从人机交互的角度，实现批量发送消息，全程仅需确认要发送的内容
-
知识产权的原因，无法上传
您已在“基本信息”中填写过联系方式，需求方如选中您简历，会通
-
MES系统
对商品销售和库存进行数据报表。主要有五大模块；库存管理（出入
-
车牌识别项目（涉密，上传图片来源网络）
主要职责: (1) 完成车牌检测算法在NVIDIA
-
单反效果算法的优化
功能： 手机上完成单反效果算法的落地，拍照和预览
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
