ID:403555

LU.F

数据爬取

  • 公司信息:
  • 民生科技
  • 工作经验:
  • 1年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 可工作日远程
  • 可工作日驻场(离职原因)
  • 可工作日驻场(自由职业原因)
  • 所在区域:
  • 北京
  • 海淀

技术能力

以 Python 为核心,熟练运用requests、Scrapy等库构建高效爬虫框架,同时掌rSelenium等工具处理 JavaScript 动态渲染页面,能根据目标网站特性选择最优技术方案。
其次,深入理解 HTTP/HTTPS 协议、TCP/IP 通信原理,可通过抓包工具(如 Fiddler、Charles)分析请求头、响应体及接口参数,破解签名、加密逻辑(如 JS 混淆、Token 验证),应对常见反爬机制(如 IP 封禁、UA 检测、验证码)。
再者,具备代理 IP 池搭建与维护能力,熟悉各类代理服务(如高匿代理、隧道代理)的接入与调度,结合 Redis 等工具实现代理的自动检测、筛选与轮换,保障爬虫稳定性。
同时,需掌握分布式爬虫架构设计,利用Scrapy-Redis、Celery 等工具实现多节点协同爬取,解决大规模数据采集的性能瓶颈;熟悉数据库技术(MySQL、MongoDB、Redis),能设计合理的数据存储方案,实现数据的清洗、去重与高效查询。

项目经验

电商平台商品数据全量爬取与价格监控系统
社交媒体内容舆情分析爬虫系统
学术论文文献批量下载爬虫工具
抖音小红书知乎京东拼多多淘宝。。。逆向经验

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服