华夏汽车

企业服务 数据服务 案例ID:171605
一只余光萧瑟的scrapy_小白
1 年经验· 广东财贸职业学院联想产业学院
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

二手车信息爬虫+数据分析开发工具:PyCharm+python3
技术模块:requests、xpath、re、redis、线程池、mongodb 项目描述:爬取华夏二手车所有二手车信息,对数据进行统计(品 牌分析、二手车品牌占比、折旧率分析等)
职责描述:
1、使用 requests、concurrent 线程池,queue 队列抓取网页数据;
2、购买代理 ip,实现代理 ip 池,定期检测 ip 的可用性,维护代理 ip 池的质量
3.通过正则、xpath 等清洗网页内容并保存数据到 mongodb;

华夏汽车

企业服务 · 数据服务 案例ID:171605
联系该工程师
微信扫码,建群沟通
作者: 一只余光萧瑟的scrapy_小白 - 1年经验- 广东财贸职业学院联想产业学院

案例介绍

二手车信息爬虫+数据分析开发工具:PyCharm+python3
技术模块:requests、xpath、re、redis、线程池、mongodb 项目描述:爬取华夏二手车所有二手车信息,对数据进行统计(品 牌分析、二手车品牌占比、折旧率分析等)
职责描述:
1、使用 requests、concurrent 线程池,queue 队列抓取网页数据;
2、购买代理 ip,实现代理 ip 池,定期检测 ip 的可用性,维护代理 ip 池的质量
3.通过正则、xpath 等清洗网页内容并保存数据到 mongodb;

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×