1. ODS数据同步采集 对接上游多个业务系统ODS贴源表,支持Oracle/MySQL跨库同步,实现增量(按时间戳/增量标识)与全量两种同步策略,可配置同步频率与断点续传。
2. 数据清洗规则引擎 可配置化的清洗规则管理,支持空值填充(默认值/均值/前后值填充)、格式统一(日期/金额/编码)、重复去重、异常值识别与标记等多种清洗策略,规则可热更新无需重启。
3. 数据质量监控告警 每日任务运行后自动生成数据质量报告,监控指标包括:记录数波动、字段空值率、枚举值分布异常、跨表一致性校验等。异常情况通过邮件/企业微信实时告警。
4. 元数据与血缘管理 自动采集表结构、字段含义、数据来源、转换规则等元数据,生成数据血缘图谱,支撑下游团队快速理解数据口径与来源链路。