ID:140025

青花瓷

python工程师

  • 公司信息:
  • 北京亚鼎智能科技有限公司
  • 工作经验:
  • 1年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 可工作日驻场(自由职业原因)
  • 所在区域:
  • 上海
  • 虹口

技术能力

熟练掌握 Python 语言,Linux 基本操作;
熟悉Requests, Scrapy 框架,Scrapy-Redis 分布式爬虫;
熟悉HTML,CSS,及多线程,多进程,HTTP/HTTPS协议;
熟练利用Xpath、CSS选择器,正则进行数据提取;
熟悉网络抓包 工具Fiddler,selenium模拟浏览器抓取技术;
熟悉MySQL、了解Redis,Mongodb 数据库操作;

项目经验

项目名称:京东商品爬虫

项目描述:抓取指定商品的名称,价格,促销,评论等基本信息
项目过程:
1)根据需求确定数据模型,构造请求地址;
2)解析列表页,提取商品ID, 利用fiddler手机抓包抓取json数据;
3)构造商品详情页请求,实现翻页功能,jsonpath提取促销,评论信息;
4)数据保存到Mongodb中,构建User-Agent池,IP池防止反爬;



项目名称:链家网爬虫
项目描述:链家网二手房成交房源信息抓取
项目过程:
1)分析网站结构,利用xpath解析,构建各级区域链接;
2) 解析页面,获取房源信息,实现翻页功能;
3)使用 scrapy-redis 构建分布式爬虫,构建IP池,UserAgent池;
4)编写 spider,调试爬虫程序及处理 bug,保存数据到Mongodb;

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服