需求背景:客户要比较四个招聘平台在同一城市的岗位分布与薪资水平,四站字段和薪资格式都不一样。 我负责:解析器与清洗层分开写。四站先统一成中间结构(来源/职位/公司/城市/薪资/学历/经验),再在清洗层做三件事——薪资三种写法统一换算成月区间、城市编码取地区名、招聘人姓名不进结构。 产出:4,579 行原始数据,按公司+职位+城市去重 892 行,输出 3,687 条,重复 0,可按城市与经验分组统计。
需求背景:省级招标公告站每天更新,人工复制到 Excel 会漏页、格式乱、还要去重。 我负责:写可长期跑的采集器。限速与单层退避(429 按服务端提示等待)、断点续采(跑到第 201 页断了能接着跑,不重复不漏页)、去重与字段归一、异常告警。 产出:交付 10,867 条,重复 0,日期完整率 100%,日更新自动跑。
需求背景:客户要比较四个招聘平台在同一城市的岗位分布与薪资水平,四站字段和薪资格式都不一样。 我负责:解析器与清洗层分开写。四站先统一成中间结构(来源/职位/公司/城市/薪资/学历/经验),再在清洗层做三件事——薪资三种写法统一换算成月区间、城市编码取地区名、招聘人姓名不进结构。 产出:4,579 行原始数据,按公司+职位+城市去重 892 行,输出 3,687 条,重复 0,可按城市与经验分组统计。...
需求背景:省级招标公告站每天更新,人工复制到 Excel 会漏页、格式乱、还要去重。 我负责:写可长期跑的采集器。限速与单层退避(429 按服务端提示等待)、断点续采(跑到第 201 页断了能接着跑,不重复不漏页)、去重与字段归一、异常告警。 产出:交付 10,867 条,重复 0,日期完整率 100%,日更新自动跑。...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人