基于scrapy框架和mongo数据库,实现了微博数据爬取,具体来说包括了:1. 爬取关键词含有“公益”、“捐赠”、“慈善”的话题2. 爬取每个话题的汇总信息-总阅读量、原创人数3. 爬取每个话题下微博内容、点赞、评论数。并使用了动态ip技术反爬。
基于scrapy框架和mongo数据库,实现了微博数据爬取,具体来说包括了:1. 爬取关键词含有“公益”、“捐赠”、“慈善”的话题2. 爬取每个话题的汇总信息-总阅读量、原创人数3. 爬取每个话题下微博内容、点赞、评论数。并使用了动态ip技术反爬。...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人