数据采集小边

数据采集与自动化工程师
独立开发者 / 自由职业 · 8年经验
数据采集小边
日薪: ¥500/8h
地点: 天津
时间: 下班后周六周日可工作日远程
ID:442075 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Node.js Python Docker Selenium
专注结构化数据采集与自动化交付,主力语言 Python。熟悉 requests / httpx / Scrapy 请求层与调度,Playwright、Selenium 驱动真实浏览器处理 JS 渲染与登录态,能应对 Cloudflare 等风控的验证与限速。数据侧熟练 pandas 做清洗、去重、字段归一,输出 Excel、CSV、JSON、数据库多形态。工程侧用 Node.js 搭采集服务,Docker 部署,定时任务加断点续爬与失败重试,异常自动截图留证。擅长把人工手动查询的重复流程改造成可配置脚本,参数外置到配置文件,交付后无需改代码即可调整。

招聘站全量数据采集:目标站点有机器人验证,HTTP 直连被拦截,改为浏览器会话接管后解析页面内嵌数据。站点索引 11522 条,按 25 条一页共 461 页,脚本逐页翻取并用发布时间做终止条件,命中截止日自动停止,避免无意义翻页。最终在 34 秒内产出 155 条符合时间范围的记录、19 个字段,含标题、招聘类型、职业、城市、浏览量、互动数,嵌套的标签组被拆解为独立列。全程 0 错误,输出 CSV 与 JSON 双份。
数据采集小边 ID:442075 复制

数据采集小边

数据采集与自动化工程师 · 8年经验 · 独立开发者 / 自由职业
城市天津 日薪500元/8h 时间 下班后周六周日可工作日远程
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Node.js Python Docker Selenium
专注结构化数据采集与自动化交付,主力语言 Python。熟悉 requests / httpx / Scrapy 请求层与调度,Playwright、Selenium 驱动真实浏览器处理 JS 渲染与登录态,能应对 Cloudflare 等风控的验证与限速。数据侧熟练 pandas 做清洗、去重、字段归一,输出 Excel、CSV、JSON、数据库多形态。工程侧用 Node.js 搭采集服务,Docker 部署,定时任务加断点续爬与失败重试,异常自动截图留证。擅长把人工手动查询的重复流程改造成可配置脚本,参数外置到配置文件,交付后无需改代码即可调整。

项目经验

招聘站全量数据采集:目标站点有机器人验证,HTTP 直连被拦截,改为浏览器会话接管后解析页面内嵌数据。站点索引 11522 条,按 25 条一页共 461 页,脚本逐页翻取并用发布时间做终止条件,命中截止日自动停止,避免无意义翻页。最终在 34 秒内产出 155 条符合时间范围的记录、19 个字段,含标题、招聘类型、职业、城市、浏览量、互动数,嵌套的标签组被拆解为独立列。全程 0 错误,输出 CSV 与 JSON 双份。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏