某事百科爬虫

企业服务 · 数据服务 案例ID: 141158
联系该工程师
微信扫码，建群沟通
作者： Haxp - 2年经验- 上海

案例介绍

该项目是基于Scrapy框架的爬取糗事百科段子的爬虫, 爬取后的数据存在关系型数据库MySQL中

例如https://www.qiushibaike.com/text/page/1/

需要解析当前页面全部段子的url, 再发送请求解析获取需要爬取的数据

该项目只爬取了 段子标题, 作者， 内容，发布时间，热度，神评，全部评论

案例图片

某事百科爬虫

某事百科爬虫

查看该工程师的更多案例

相似案例推荐

发布任务

企业点击发布任务，工程师会在任务下报名，招聘专员也会在 1 小时内与您联系确认。
点击发布任务

1小时精推人才

需求方专属客服，免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
微信沟通 联系需求方端客服 看中这位工程师了？客服帮你 1 小时对接沟通 → ×