政务公告日更采集

企业服务 数据服务 案例ID:255652
冷心为帝
2 年经验· 自由职业
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

需求背景:省级招标公告站每天更新,人工复制到 Excel 会漏页、格式乱、还要去重。

我负责:写可长期跑的采集器。限速与单层退避(429 按服务端提示等待)、断点续采(跑到第 201 页断了能接着跑,不重复不漏页)、去重与字段归一、异常告警。

产出:交付 10,867 条,重复 0,日期完整率 100%,日更新自动跑。

政务公告日更采集

企业服务 · 数据服务 案例ID:255652
联系该工程师
微信扫码,建群沟通
作者: 冷心为帝 - 2年经验- 自由职业

案例介绍

需求背景:省级招标公告站每天更新,人工复制到 Excel 会漏页、格式乱、还要去重。

我负责:写可长期跑的采集器。限速与单层退避(429 按服务端提示等待)、断点续采(跑到第 201 页断了能接着跑,不重复不漏页)、去重与字段归一、异常告警。

产出:交付 10,867 条,重复 0,日期完整率 100%,日更新自动跑。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×