异构数据同步系统搭建项目
负责设计并落地异构数据同步系统,解决多业务系统间数据孤岛问题。技术架构采用 Spring Boot 作为基础框架,整合 Canal 监听 MySQL binlog 实现数据变更捕获,通过 RocketMQ 实现分布式消息投递,确保跨库数据实时同步。
在项目中主导核心模块设计:基于 Canal Client 封装数据解析组件,支持自定义数据过滤规则;设计 RocketMQ 消息路由策略,实现不同业务库数据按主题分区投递;开发数据一致性校验模块,通过定时任务对比源库与目标库数据差异并自动修复。
系统上线后,将跨系统数据同步延迟从原有的小时级降至秒级,支持日均千万级数据量同步,数据一致性达 99.99%,为业务分析和决策提供了实时数据支撑。