分布式爬虫

项目总价 8000元
预估日薪 800/天
合作方式: 项目制
预估工时: 10天
发布位置: 北京
参与范围: 全国远程
Elva
Elva
职位ID: 154134复制

发布方信用行为

发布项目
1
订单总数
0
退款单数

需求描述

1. 用scrapy框架和redis实现分布式爬虫,书籍信息储存在Mongo DB里面,书籍下载到本地。
2. 可以对接elastic search 进行数据处理的话就更好了

要求:
1、熟悉python爬虫技术,熟悉requests、selenium、scrapy、xpath、re等技术手段编写爬虫程序进行内容抓取,对抓取到的数据进行清洗过滤,分表存储。
2. 熟悉scrapy框架,redis,mongodb
3.可以做到静态抓取,动态抓取,以及解码

分布式爬虫

合作方式 项目制
预估日薪 800
预估总价 8000元
预估工时 10天
发布位置 北京
可参与范围 全国远程
职位ID 154134复制
发布方 Elva
Elva

需求描述

1. 用scrapy框架和redis实现分布式爬虫,书籍信息储存在Mongo DB里面,书籍下载到本地。
2. 可以对接elastic search 进行数据处理的话就更好了

要求:
1、熟悉python爬虫技术,熟悉requests、selenium、scrapy、xpath、re等技术手段编写爬虫程序进行内容抓取,对抓取到的数据进行清洗过滤,分表存储。
2. 熟悉scrapy框架,redis,mongodb
3.可以做到静态抓取,动态抓取,以及解码

发布方信用行为

发布项目 1
订单总数 1
退款单数 0

完善简历

工程师完善技术能力和项目经验,更易接到订单

完善人才简历

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。
该职位已结束,当前不可继续投递。
已完成