海阔天空

python后端工程师
腾讯公司 · 1年经验
海阔天空
日薪: ¥500/8h
地点: 长沙 全区
时间: 下班后周六周日可工作日远程
ID:197414 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Java Python Linux Kafka MySQL Redis MongoDB HBase CSS HTTP
熟悉linux平台开发,精通Python或者Java,熟悉常用的爬虫框架和工具;
熟悉MongoDB、Redis、Mysql,掌握MQ,了解HBase、KAFKA等;
熟悉HTTP协议,熟悉正则表达式、XPath、CSS选择器等,了解常用验证码识别技术;
能独立解决实际开发过程碰到的各类问题。

豆瓣、猫眼
责任描述:
编写python爬虫程序、想出反爬虫策越、数据清洗、分表存储、维护代理ip池
项目简介:
项目概述:
爬取豆瓣、猫眼的电影信息
遇到问题及解决方案如下:
1、数据量较少、用requests爬取
2、需要的数据通过抓包返回json数据
3、转字典提取想要的数据
4、保存在MongoDB
5、使用logging模块编写监控爬虫程序,并且根据日期定向输出日志到log文件
海阔天空 ID:197414 复制

海阔天空

python后端工程师 · 1年经验 · 腾讯公司
城市长沙 全区 日薪500元/8h 时间 下班后周六周日可工作日远程
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Java Python Linux Kafka MySQL Redis MongoDB HBase CSS HTTP
熟悉linux平台开发,精通Python或者Java,熟悉常用的爬虫框架和工具;
熟悉MongoDB、Redis、Mysql,掌握MQ,了解HBase、KAFKA等;
熟悉HTTP协议,熟悉正则表达式、XPath、CSS选择器等,了解常用验证码识别技术;
能独立解决实际开发过程碰到的各类问题。

项目经验

豆瓣、猫眼
责任描述:
编写python爬虫程序、想出反爬虫策越、数据清洗、分表存储、维护代理ip池
项目简介:
项目概述:
爬取豆瓣、猫眼的电影信息
遇到问题及解决方案如下:
1、数据量较少、用requests爬取
2、需要的数据通过抓包返回json数据
3、转字典提取想要的数据
4、保存在MongoDB
5、使用logging模块编写监控爬虫程序,并且根据日期定向输出日志到log文件
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏