这个项目是对新浪,勝讯等网站分类新闻资讯吧取的分布式实现。 1.采用 scrapy-redis 分布式框架实现爬虫集群,分布式使用 Redis 实现 2.存储 Request 请求和指纹集合,并目对各个 Slave 实现集中管理和控制 3.利用 Redis 的高并发读写来实
项目描述:爬取各个大型图书网站,如新华书店图书网,在线网上图书一号店等。获取它们图书的名称,简介,购买量,评 论量,评论数据,价格等,存入数据库。 项目技能:requests,Xpath,json,Redis,MongoDB ,协程,re 项目职责: 1.使用 reque
扫码添加客服极速匹配,或直接发布需求让更多人才主动报名
基于 35,336 需求方信任
鼠标悬停或点击上方资质图片,可放大右下角二维码进行扫码验真。
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人
收藏后可在“我的收藏”里统一查看,也方便后续继续联系和筛选合适人才。
登录后将自动返回当前页,继续浏览不会丢失。