基本信息

案例ID:171605

技术顾问:一只余光萧瑟的scrapy_小白 - 1年经验 - 广东财贸职业学院联想产业学院

联系沟通

微信扫码,建群沟通

项目名称:华夏汽车

所属行业:企业服务 - 数据服务

->查看更多案例

案例介绍

二手车信息爬虫+数据分析开发工具:PyCharm+python3
技术模块:requests、xpath、re、redis、线程池、mongodb 项目描述:爬取华夏二手车所有二手车信息,对数据进行统计(品 牌分析、二手车品牌占比、折旧率分析等)
职责描述:
1、使用 requests、concurrent 线程池,queue 队列抓取网页数据;
2、购买代理 ip,实现代理 ip 池,定期检测 ip 的可用性,维护代理 ip 池的质量
3.通过正则、xpath 等清洗网页内容并保存数据到 mongodb;

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服