用于同步第三方系统、业务数据库和内部数据仓库,支持定时任务、失败重试、执行日志、任务告警等能力。
技术栈:
Spring Boot、XXL-JOB、Canal、Kafka、MySQL、Redis
个人职责:
负责数据同步任务配置、执行日志、失败重试和告javascript:void(0);警模块开发。
使用 XXL-JOB 管理定时任务,支持任务启停、分片执行和执行结果追踪。
使用 Kafka 解耦数据采集和消费流程,提高系统吞吐能力。
设计失败补偿机制,对异常任务进行自动重试和人工补偿。
优化批量数据写入逻辑,使用批处理和事务控制提升同步效率。