案例介绍
项目：新闻分类资讯
项目描述：该项目主要爬取各网站新闻的热门，头条，时事热点等信息
项目技能：scrapy_redis，Xpath，Redis，json
个人职责：1.分析url地址，分析反爬策略，实现反反爬抓取数据。在下载中间键（Downloader）的_process_request方法中配置user-Agent和代理ip地址池，实现基本的反反爬策略。
2.由于爬取新闻网站多，爬取数据量大。数据请求url地址多，使用scrapy_redis来进行分布式爬取，由于redis非关系型数据库，读写更快，将请求的request对象保存到redis中。同时scrapy_redis能够实现去重持久化，请求对象持久化去重，实现分布式，能够有效提高爬虫效率
3.使用scrapy_redis的RFPDupeFilter方法来实现request对象的加密，使用sha1加密算法生成16位字符串指纹，在使用RedisPipline方法来进行数据的存储保存到redis前，查看redis中是否已经有相同的指纹，有就不保存。
4.爬取到的数据保存到MongoDB中，来实现数据的持久化。
案例图片
相似案例推荐
其他人才的相似案例推荐
-
黑龙江省智慧城市
该项目是服务于中东地区的游戏充值卡系统，用于解决中东地区青少
-
python脚本
第1、2张图是虹膜考勤工具及部分源码 第3、4张图是隐患大
-
python脚本
第1、2张图是虹膜考勤工具及部分源码 第3、4张图是隐患大
-
Owl
android服务式应用； 爬取数据并监测数据更新，为其它
-
某爬虫应用(基于golang)
基于golang编写的爬虫应用； 可方便交付，无运行环境配
-
电影数据爬虫
1. 定时采集电影数据信息 1. 查看每年累计票房收入和电
-
数据资产项目
数据资产平台主要有数据源管理、数据元管理、数据标准管理、调度
-
数据服务项目
此项目是主要是在数据治理的基础上，把专题提主题库等有价值的数
-
中国移动智能运维平台
参与项目技术方案制定，进行相关的设计和开发工作； 2、参与
-
法务产业saas管理
产业政策项目是主要服务于中小型企业的数字化平台，致力于管理企
-
问题线索研判分析平台
问题线索研判分析平台是在问题线索分析处置和分析研判工作中，使
-
xxx大数据云平台
大数据云平台方便办案人员根据上传的数据格式来分析处理有关的数
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
