项目背景:
客户需要处理大量Excel、CSV、JSON及数据库导出数据。原始数据存在字段不统一、重复记录、空值、异常值、编码错误和格式混乱等问题。为降低使用门槛,项目将数据处理能力接入飞书群,业务人员无需登录后台或执行脚本,即可通过飞书机器人提交和查询任务。
实现方案:
用户先将待处理文件上传至OBS对象存储,然后在指定飞书群中通过@数据处理Bot发送OBS文件地址、处理类型和任务参数。机器人接收消息后解析指令、验证文件权限并创建处理任务,后台使用Python执行数据下载、字段映射、格式转换、去重、空值处理、异常值检测、数据合并及质量校验。处理完成后,结果文件、异常数据清单及处理报告自动上传至OBS,机器人在飞书群中返回任务状态、统计结果和下载地址。