交易数据实时 + 离线湖仓

企业服务 数据服务 案例ID:256558
andrew
12 年经验· spdb
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

交易数据实时+离线湖仓平台,个人独立完成架构设计、数据建模、实时/离线开发、
服务层、Vue 控制台与 K8s 部署。Kafka+Flink 做实时入湖与分钟级指标,Spark T+1
在 Iceberg 上做批处理与迟到数据修正,Doris 承载服务层,FastAPI 提供指标查询、
标签圈人、数据质量与字段级血缘,配套 Vue 3 控制台。重点解决 exactly-once、
迟到乱序、实时离线对账三大难题,52 个自动化测试与 50 轮端到端样例测试全部通过,
并已在本机 Kubernetes 集群完整部署运行。

交易数据实时 + 离线湖仓

企业服务 · 数据服务 案例ID:256558
联系该工程师
微信扫码,建群沟通
作者: andrew - 12年经验- spdb

案例介绍

交易数据实时+离线湖仓平台,个人独立完成架构设计、数据建模、实时/离线开发、
服务层、Vue 控制台与 K8s 部署。Kafka+Flink 做实时入湖与分钟级指标,Spark T+1
在 Iceberg 上做批处理与迟到数据修正,Doris 承载服务层,FastAPI 提供指标查询、
标签圈人、数据质量与字段级血缘,配套 Vue 3 控制台。重点解决 exactly-once、
迟到乱序、实时离线对账三大难题,52 个自动化测试与 50 轮端到端样例测试全部通过,
并已在本机 Kubernetes 集群完整部署运行。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×