智能数据清洗Agent系统
案例介绍
智能数据清洗Agent系统
案例介绍
该项目面向多来源业务数据格式不统一、人工清洗效率低以及传统规则维护困难等问题。我负责整体流程设计和核心模块开发，使用FastAPI构建任务接口，基于LangGraph编排规则初筛、字段识别、语义映射、规则生成、PySpark批量清洗、质量校验和人工审核流程。LLM仅负责输出结构化映射建议，实际数据处理由Python和PySpark确定性执行，避免模型直接修改生产数据。系统同时接入Kafka、Celery、Redis、Elasticsearch和HBase，实现任务状态追踪、异常重试、低置信度人工介入及结果落库。
案例图片
相似案例推荐
-
数据迁移平台
这是一 面向异构数据库的数据迁移与任务编排平台，采用前后端分
-
江苏省交通厅交通主数据平台
负责江苏省交通行业主数据标准体系的建设工作，涵盖公路及港航基
-
南京市信息中心可信数据平台
参与南京市《个人主数据标准》和《企业主数据标准》的制定与撰写
-
数据自动化平台
数据自动化平台 作品介绍 数据自动化平台是一套面向企
-
逆向某网站参数
逆向该网站的acs-token这个加密的参数，同时使用pla
-
tiktok博主视频抓取
首次运行生成表格，客户填写需要抓取的博主名单，二次运行开始进
1小时精推人才
需求方专属客服，免费梳理匹配
