微博爬虫

社交 兴趣格调 案例ID：135113
越过眼睛
2 年经验· 华为
微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

1、Scrapy+redis+mongodb+selenium等（一天大概1300万条数据）
2、下载中间件会从Cookie池和User-Agent池中随机抽取一个加入到spider中
3、start_requests 中根据用户ID启动四个Request，同时对个人信息、微博、
关注和粉丝进行爬取
4、将新爬下来的关注和粉丝ID加入到待爬队列（去重）

案例图片

共 2 张
微博爬虫 微博爬虫
查看该工程师的更多案例 >

相似案例推荐

博客APP
博客APP
个人博客的APP个人博客的APP个人博客的APP个人博客的A
李环玉个人博客
李环玉个人博客
个人博客，主要写一些技术方面的文章个人博客，主要写一些技术方
校园焕世界
校园焕世界
大学生二手交易平台 一个内嵌在微信公众号上的网站软件 有
陶虹-UI设计师作品集
陶虹-UI设计师作品集
所上传图片是三个项目的部分效果图，分别有隐隐社交APP、孟加
展会通
展会通
基于移动互联网技术和运营理念，为展览、会议、节事活动等大型活
萌龟日记
萌龟日记
萌龟日记 - 记录与分享养龟生活 萌龟专属相册空间，相

微博爬虫

社交 · 兴趣格调 案例ID：135113
联系该工程师
微信扫码，建群沟通
作者： 越过眼睛 - 2年经验- 华为

案例介绍

1、Scrapy+redis+mongodb+selenium等（一天大概1300万条数据）
2、下载中间件会从Cookie池和User-Agent池中随机抽取一个加入到spider中
3、start_requests 中根据用户ID启动四个Request，同时对个人信息、微博、
关注和粉丝进行爬取
4、将新爬下来的关注和粉丝ID加入到待爬队列（去重）

案例图片

微博爬虫

微博爬虫

查看该工程师的更多案例

相似案例推荐

  • 博客APP

    博客APP

    个人博客的APP个人博客的APP个人博客的APP个人博客的A

  • 李环玉个人博客

    李环玉个人博客

    个人博客，主要写一些技术方面的文章个人博客，主要写一些技术方

  • 校园焕世界

    校园焕世界

    大学生二手交易平台 一个内嵌在微信公众号上的网站软件 有

  • 陶虹-UI设计师作品集

    陶虹-UI设计师作品集

    所上传图片是三个项目的部分效果图，分别有隐隐社交APP、孟加

  • 展会通

    展会通

    基于移动互联网技术和运营理念，为展览、会议、节事活动等大型活

  • 萌龟日记

    萌龟日记

    萌龟日记 - 记录与分享养龟生活 萌龟专属相册空间，相

发布任务

企业点击发布任务，工程师会在任务下报名，招聘专员也会在 1 小时内与您联系确认。
点击发布任务

1小时精推人才

需求方专属客服，免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了？客服帮你 1 小时对接沟通 → ×