项目名称:保险业数据中台质量保障体系建设项目
语言技术:SQL、Python
项目介绍:
1.海量数据迁移与集成:构建稳定可靠的数据管道,将分散在各处的源业务数据,全量/增量地迁移至阿里云数据中台。
2.统一数据资产管理与治理:建立企业级数据模型和数据仓库,对数据进行标准化处理,形成统一、干净的数据资产。
3.全链路数据质量监控:建立覆盖“数据接入->清洗->加工->服务”全流程的质量校验和监控体系,保障数据的准确性、唯一性与完整性。
项目实现:
1.数据迁移保障:深度参与数据迁移方案设计与测试,通过编写复杂SQL脚本,构建并验证海量测试数据,精准比对源端与目标端数据,确保了数据迁移的数据准确性。
2.质量体系搭建:主导规划并编写了团队级的《大数据测试SOP》与《数据测试指南》。该体系明确了不同数据节点(如ODS、DWD、DWS、ADM层)的测试重点、验证方法和通过标准,并推广为团队执行数据测试的统一规范,从根本上提升了测试工作的规范性和效率。
2.效能提升:作为BU Leader,不仅负责技术方案,还通过团队结构优化和推广自动化测试平台,在团队规模精简后,人均缺陷检出量与任务处理量仍提升超过30%,有力保障了数据中台的稳定运行和数据质量。