逆WM舟
高级python爬虫工程师
阿里 · 3年经验
日薪：
￥500/8h
地点：
其他 全区
时间：
下班后
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1）优秀的数据库设计和优化能力，至少精通一种常用的关系型数据库，精通MySQL数据集群应用开发优先；
2）熟练应用CSS/JavaScript/Ajax/进行Web开发，熟悉Python/Ruby者优先；
3）熟练使用Linux，熟悉常用的Shell命令，扎实的计算机基础，较强的软件架构或算法理解能力；
4）拥有优秀的逻辑思维能力、时间和流程意识以及良好的编码习惯及开发文档书写习惯。
2）熟练应用CSS/JavaScript/Ajax/进行Web开发，熟悉Python/Ruby者优先；
3）熟练使用Linux，熟悉常用的Shell命令，扎实的计算机基础，较强的软件架构或算法理解能力；
4）拥有优秀的逻辑思维能力、时间和流程意识以及良好的编码习惯及开发文档书写习惯。
项目经验
项目时间：2017-01到2011-10
项目名称：分布式爬虫爬取北京市企业信用信息网
项目描述：
项目介绍
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
项目名称：分布式爬虫爬取北京市企业信用信息网
项目描述：
项目介绍
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
团队情况
整包服务：
其他开发
负责人：
高级python爬虫工程师
团队成员：
前端工程师
逆WM舟
有团队 · 可整包
高级python爬虫工程师 · 3年经验 · 阿里
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1）优秀的数据库设计和优化能力，至少精通一种常用的关系型数据库，精通MySQL数据集群应用开发优先；
2）熟练应用CSS/JavaScript/Ajax/进行Web开发，熟悉Python/Ruby者优先；
3）熟练使用Linux，熟悉常用的Shell命令，扎实的计算机基础，较强的软件架构或算法理解能力；
4）拥有优秀的逻辑思维能力、时间和流程意识以及良好的编码习惯及开发文档书写习惯。
2）熟练应用CSS/JavaScript/Ajax/进行Web开发，熟悉Python/Ruby者优先；
3）熟练使用Linux，熟悉常用的Shell命令，扎实的计算机基础，较强的软件架构或算法理解能力；
4）拥有优秀的逻辑思维能力、时间和流程意识以及良好的编码习惯及开发文档书写习惯。
项目经验
项目时间：2017-01到2011-10
项目名称：分布式爬虫爬取北京市企业信用信息网
项目描述：
项目介绍
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
项目名称：分布式爬虫爬取北京市企业信用信息网
项目描述：
项目介绍
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
团队情况
服务范围：
团队构成：
负责人(高级python爬虫工程师)
|
核心队员：前端工程师
立即沟通
相似人才推荐：
其他python开发工程师 (上海喜宝供应链技术有限公司) ，3年经验 ，600元/天
北京高级python研发工程师 (华为) ，5年经验 ，500元/天
成都python爬虫工程师 (成都这伴科技有限公司) ，6年经验 ，1000元/天
西安python开发工程师 (中软国际) ，3年经验 ，500元/天
北京python开发 (阿里) ，4年经验 ，500元/天
长沙Python工程师 (湖南蚁坊) ，3年经验 ，800元/天
北京高级python研发工程师 (北京黑尾互动科技有限公司) ，4年经验 ，500元/天
其他Python高级开发工程师 (河南奇酷网络工程有限公司) ，2年经验 ，500元/天
