基本信息

案例ID:194507

技术顾问:用户7398753263 - 2年经验 - 兰州科技有限公司

联系沟通

微信扫码,建群沟通

项目名称:新浪微博爬虫

所属行业:企业服务 - 数据服务

->查看更多案例

案例介绍

1.爬取用户的基本信息
2.爬取用户的历史微博记录
3.指定日期阶段内爬取用户所有微博
4.bug
如图0-1所示,实例化时需要传入两个参数,一个是自己浏览器的user-agent。另一个是登录新版微博的cookie值
如图0-2所示,在network里可以找到cookie值和user-agent。实例化时传入参数即可。
1.爬取爬取用户的基本信息
最近在追一个剧,就拿剧中的女主的账号尝试一下。嘻嘻嘻
uid = 5372556014
下面上代码
kkk。可以看到数据出来了,虽然不知道有没有反爬,不过成功了。后边还有数据没有看到,不过还是不错的。
2.爬取用户的历史微博记录
其实就是爬取用户在那一年那个月发过微博,获取的历史记录就是个日期而已
直接上代码吧!!!
数据是字典形式出现的,可以看出来我们的女主微博账号在2015年12月发过微博,2016年1-12月都发过微博,后边还有不过看不到了,
3.指定日期阶段内爬取用户所有微博
指定日期肯定需要传入时间参数了,所以这个就需要传入两个参数。看看吧
日期的格式是一定的,就是2021 04, 当然了这里没空格。数据有文案,时间,编号等....
4.bug
这个新版微博还是不错的,反爬肯定会有的,所以五秒请求一次,对服务器是完全没影响的,人为请求应该都比代码快把哈哈哈哈哈。另外,这里的数据我都是用字典保存的,可以方便使用的时候用自己想用的文件格式保存。爬取《3.指定日期阶段内爬取用户所有微博》部分时,数据是生成器返回,所以遍历输出就能看到。

相似案例推荐

其他人才的相似案例推荐

  • 长治清洁取暖APP

    长治清洁取暖APP

    山西省长治市清洁取暖项目APP端负责人,APP分三端用户,企

  • 物联感知平台

    物联感知平台

    系统功能:监控管理街道或小区监控摄像头、路灯路杆等信息、皮基

  • LTE产品-网关

    LTE产品-网关

    LTE Femto网关设备位于HeNB基站与核心网之间,用于

  • WLAN产品-AC

    WLAN产品-AC

    AC用来集中化控制无线AP,是一个无线网络的核心,负责管理无

  • 有路网

    有路网

    有路网主要做海外房产,在此项目中主要负责项目中的房源数据的处

  • 诸葛找房APP

    诸葛找房APP

    主要包括房源大数据,以及各种新房二手房大数据的操作管理后台以

  • 目录数据管理系统

    目录数据管理系统

    系统主要把政务职责分成5大目录进行管理,可新增5大目录,其中

  • 世界文化遗产监测平台

    世界文化遗产监测平台

    1.该项目以故宫博物院遗产信息为核心,通过对“关键数据”的综

  • U报价

    U报价

    U报价是一款解决甲乙方众多产品报价、项目报价问题的B2B专用

  • 今天头条自媒体助手

    今天头条自媒体助手

    1、利用爬虫爬取全网的热点新闻资讯等信息为自媒体写作人提供思

  • 华美智数投放系统

    华美智数投放系统

    打通京东旗下京准通数据接口 1、将各个渠道下的接口数据融合

  • 智慧短信SDK

    智慧短信SDK

    此项目是公司期间项目,本人负责Android 短信的SDK开

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服