ID:426867

Python 数据工程师

  • 公司信息:
  • 睿至科技集团有限公司
  • 工作经验:
  • 2年
  • 兼职日薪:
  • 600元/8小时
  • 兼职时间:
  • 可工作日驻场(自由职业原因)
  • 所在区域:
  • 南宁
  • 全区

技术能力

Python 开发工程师,爬虫与自动化方向实战经验,擅长 Web 数据采集、API 逆向、验证码破解、数据处理与可视化。
核心技术举例:
1. 验证码自动破解 — 针对网易易盾滑块验证码,使用 OpenCV Canny 边缘检测 + RGB 列间差分分析精确定位缺口,配合双峰配对算法和人类行为轨迹模拟(加速→匀速→减速+随机抖动),实现 90%+ 自动通过率,已在真实 B2B 电商平台部署运行。
2. 加密 API 逆向 — 某省级政府采购平台采用 MD5 签名 + AES-CBC 加密保护接口数据。通过逆向前端 JS 提取签名密钥和加解密参数,完整还原请求签名和响应解密的完整链路,绕过 API 防护成功采集 2000+ 条招标公告。
3. 反检测爬虫 — 拉勾网使用 Next.js SSR 渲染 + 反自动化检测。采用持久化浏览器指纹 + 禁用自动化标志的方法绕过检测,并设计 SSR JSON 解析 + DOM 降级抓取的双通道数据提取策略,确保数据采集的稳定性和完整性。
可承接:Python 爬虫开发、数据采集、API 逆向、自动化脚本、数据处理与可视化、验证码破解、代码调试与修改。需求发来即可评估,按工时或固定价格报价,交付源码 + 文档 + 使用说明。

项目经验

省市级政府采购招标公告 API 逆向与批量采集系统
本系统实现两套省级政府采购平台的招标公告全自动采集:
福建省平台(ggzyfw.fj.gov.cn):MD5 请求签名破解 + AES-CBC 响应解密
广东省平台(ygp.gdzwfw.gov.cn):双源 API 架构(门户列表+源平台详情)
总计采集 2000+ 条公告,每条包含项目名称、招标编号、招标人、招标代理、
合同估算价、投标/开标截止时间、公告正文全文等完整结构化字段。
可用于招投标信息整合、竞争对手分析、供应链情报等商业场景。
B2B 医药平台商品信息批量搜索与规格筛选爬虫
针对药师帮(ysbang.cn)B2B 医药电商平台的商品信息批量采集系统。
从 Excel 读取任务清单(商品通用名+规格),自动搜索 → 筛生产厂家 →
判断多规格/无结果 → 翻页抓取前 120 条商品数据 → 输出 Excel 三表。
集成了滑块验证码自动破解模块,当触发易盾滑块时自动识别缺口并拖拽通过,
实现全流程无人值守。

项目实现:
- 读取 Excel「去重数据」工作表,提取商品通用名+规格作为搜索关键词
- 搜索格式:商品通用名 + 空格 + 规格,模拟页面搜索框输入+回车
- 结果页自动点击「生产厂家」筛选项,根据筛选结果分三种情况处理:
· 规格唯一且有商品 → 正常抓取
· 多规格(筛选栏还有多个规格选项)→ 标记「多规格待排除」,跳过
· 无商品 → 标记「无搜索结果」,跳过
- 每页约 60 条商品卡片,翻一页共抓前 120 条
- 集成易盾滑块求解器:检测 .yidun_slider → CV 定位缺口 → 轨迹生成 → 拖拽
- 输出 Excel 三工作表:正常结果 / 多规格待排除 / 无搜索结果

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服