一只余光萧瑟的scrapy_小白的案例列表
作者：一只余光萧瑟的scrapy_小白 · 共 2 个案例
华夏汽车
二手车信息爬虫+数据分析开发工具：PyCharm+python3 技术模块：requests、xpath、re、redis、线程池、mongodb 项目描述：爬取华夏二手车所有二手车信息，对数据进行统计（品 牌分析、二手车品牌占比、折旧率分析等） 职责描述： 1、使用 requests、concurrent 线程池，queue 队列抓取网页数据； 2、购买代理 ip，实现代理 ip 池，定期检测 ip 的可用性，维护代理 ip 池的质量 3.通过正则、xpath 等清洗网页内容并保存数据到 mongodb；
案例判断参考
一只余光萧瑟的scrapy_小白的案例列表
华夏汽车
二手车信息爬虫+数据分析开发工具：PyCharm+python3 技术模块：requests、xpath、re、redis、线程池、mongodb 项目描述：爬取华夏二手车所有二手车信息，对数据进行统计（品 牌分析、二手车品牌占比、折旧率分析等） 职责描述： 1、使用 requests、concurrent 线程池，queue 队列抓取网页数据； 2、购买代理 ip，实现代理 ip 池，定期检测 ip 的可用性，维护代理 ip 池的质量 3.通过正则、xpath 等清洗网页内容并保存数据到 mongodb；...
