一:数据交换治理平台
项目描述:
在数据中台项目中,我们团队负责设计和开发一个数据交换治理平台,以帮助数据中台实现数据的安全、可靠、高效的交换和共享。该平台旨在整合数据来源、统一数据规范、确保数据质量、提供数据访问权限控制、全链路的数据追踪、以及支持数据交换监控与管理。
主要职责:
与业务部门沟通,收集数据交换需求,并将其转化为技术方案;
设计和开发数据交换治理平台的后端服务,包括数据源&数据源表管理、同步任务管理、运维管理、审批管理、端对端数据一致性验证等功能;
开发数据交换治理平台的自动化测试、部署、运维等功能;
配置和管理数据交换治理平台的基础设施,包括数据库、消息队列、容器化环境等;
协助数据分析团队进行数据仓库的开发和维护,确保数据交换治理平台的数据可用性和可靠性。
项目成果:
成功设计和开发了数据交换治理平台,实现了数据中台的数据交换和共享功能,提高了数据的安全性、可靠性和效率;
平台已被多个业务部门广泛应用,得到了用户的高度评价;
优化了数据交换的流程和效率,减少了重复开发和数据冗余,节省了数据交换成本;
建立了数据交换治理平台的自动化测试和部署流程,提高了项目的稳定性和可维护性;
建立了数据交换治理平台的数据监控和报警机制,及时发现和处理数据交换问题。
技术栈:
Java、Spring Cloud、MySQL、Mybatis、Spark、Flink、Hudi、Starrocks、Canal、Seatunnel等。
二:数据质量治理平台
项目描述:
在数据中台项目中,我们团队负责设计和开发一个数据质量校验平台,以保证数据中台的数据质量和数据可靠性。该平台采用了apache linkis中间件,通过定义数据校验规则,将数据质量检测的过程自动化和标准化,从而提高了数据质量校验的效率和准确性。
主要职责:
与业务部门沟通,收集数据质量校验的需求,并将其转化为技术方案。
设计和开发数据质量校验平台的后端服务,包括数据源接入、数据校验规则定义、数据质量校验执行、校验结果反馈等功能。
配置和管理apache linkis中间件的环境,包括安装、部署、集群管理等。
协助数据分析团队进行数据分析,确保数据质量校验平台的数据可用性和可靠性。
项目成果:
成功设计和开发了数据质量校验平台,实现了数据中台的数据质量自动化校验功能,提高了数据的准确性和可靠性;
平台已被数仓团队广泛应用,得到了用户的高度评价;
通过引入apache linkis中间件,大大简化了数据质量校验的开发和维护工作,提高了开发效率和代码可读性。
建立了数据质量校验平台的自动化测试和部署流程,提高了项目的稳定性和可维护性。
技术栈:
Java、Spring Cloud、MySQL、Mybatis、Spark、Apache Linkis、Python等。