基本信息

案例ID:141158

技术顾问:Haxp - 2年经验 - 上海

联系沟通

微信扫码,建群沟通

项目名称:某事百科爬虫

所属行业:企业服务 - 数据服务

->查看更多案例

案例介绍

该项目是基于Scrapy框架的爬取糗事百科段子的爬虫, 爬取后的数据存在关系型数据库MySQL中

例如https://www.qiushibaike.com/text/page/1/

需要解析当前页面全部段子的url, 再发送请求解析获取需要爬取的数据

该项目只爬取了 段子标题, 作者, 内容,发布时间,热度,神评,全部评论

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服