APP数据:分布式网络爬虫开发(Python)

合作方式 项目制
预估日薪 1000
预估总价 8000元
预估工时 8天
发布位置 北京
可参与范围 远程+定期见面
职位ID 101417
发布方 Liuxi
Liuxi

需求描述

-- 项目描述
需要根据提供的城市信息,获取某常用餐饮APP内的产品、评分、评价等数据,用作数据分析与问题解决。
1、通过获取常用IP代理池等方式维护爬虫IP代理池;
2、已一定方式划分城市获取节点POI地址经纬度,并入库保存;(mysql)
3、模拟APP登录分布式爬取指定信息数据页面,按一定规则入库保存;(mongodb)
4、进行数据解析获取页面内容,按内容分类入库保存;(mysql)
5、维护程序设计文档。(doc|md)

-- 人员要求
1、精通Python,熟悉常用爬虫开发,熟练操作MySQL以及MongoDB。
2、有APP数据抓取经验,具备一定突破反爬的能力。
3、良好的沟通能力和契约精神。

发布方信用行为

发布项目 1
订单总数 0
退款单数 0

完善简历

工程师完善技术能力和项目经验,更易接到订单

完善人才简历

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。