面向多源业务系统设计并实现实时数据平台,完成 PostgreSQL、SQLite 等数据源的增量采集、Kafka 消息传输、Doris 实时分析存储及 API/Dashboard 数据服务。本人负责整体架构设计、数据模型、采集与消费链路、数据质量与对账、异常恢复及验收验证。平台支持多数据源统一接入、实时增量处理、重复消费控制、链路恢复和数据一致性核验,可用于实时业务分析和数据服务场景。
面向实时数据链路建设数据质量与一致性验证能力,对 Source、Kafka、Doris ODS/ADS 等关键层进行状态监控、消费延迟检查及 Source-to-Target 数据对账。本人负责链路运行状态核验、数据量及指标一致性校验、异常定位与恢复验证,并通过只读分析页面展示 Kafka offset、consumer lag、ODS/ADS 数据量及逐日对账结果。该方案可用于实时数据平台上线验收、异常排查和长期数据质量监控。
面向多源业务系统设计并实现实时数据平台,完成 PostgreSQL、SQLite 等数据源的增量采集、Kafka 消息传输、Doris 实时分析存储及 API/Dashboard 数据服务。本人负责整体架构设计、数据模型、采集与消费链路、数据质量与对账、异常恢复及验收验证。平台支持多数据源统一接入、实时增量处理、重复消费控制、链路恢复和数据一致性核验,可用于实时业务分析和数据服务场景。...
面向实时数据链路建设数据质量与一致性验证能力,对 Source、Kafka、Doris ODS/ADS 等关键层进行状态监控、消费延迟检查及 Source-to-Target 数据对账。本人负责链路运行状态核验、数据量及指标一致性校验、异常定位与恢复验证,并通过只读分析页面展示 Kafka offset、consumer lag、ODS/ADS 数据量及逐日对账结果。该方案可用于实时数据平台上线验收、异常排查和长期数据质量监控。...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人