基于scrapy框架和mongo数据库,实现了微博数据爬取,具体来说包括了:1. 爬取关键词含有“公益”、“捐赠”、“慈善”的话题2. 爬取每个话题的汇总信息-总阅读量、原创人数3. 爬取每个话题下微博内容、点赞、评论数。并使用了动态ip技术反爬。
基于scrapy框架和mongo数据库爬取了IMDB上一千多步电影的详细信息和演员、导演、编剧的详细信息。并对数据进行了简单可视化和分析。
扫码添加客服极速匹配,或直接发布需求让更多人才主动报名
基于 35,336 需求方信任
鼠标悬停或点击上方资质图片,可放大右下角二维码进行扫码验真。
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人
收藏后可在“我的收藏”里统一查看,也方便后续继续联系和筛选合适人才。
登录后将自动返回当前页,继续浏览不会丢失。