数据湖实时架构

电子商务 B2C 案例ID:209270
曹海瑞
14 年经验· 上海携程技术有限公司
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

该项目用于同策实时数仓建设,主要包括数据入湖、数仓分层、数据集市和数据展现
1.基于数仓分层标准实现 ods/dwd/dws/ads 层间数据流转
2.基于 flink cdc+hudi+kudu 构建数据湖准实时架构、应用架构搭建、maven 分层和多环境部署(开源)
3.基于 hudi+impala+hive 构建数据湖批次架构、应用架构搭建、maven 分层和多环境部署(开源)
4.基于 cdas+flinksql+hologres 构建数据湖实时架构、技术调研和多环境部署(阿里)
5.基于 dataworks+hologres 构建数据湖批次架构、技术调研和多环境部署(阿里)
6..基于阿里云构建高可用、高性能、高并发数据湖架构
项目职责:
1.架构设计、架构评审、技术选型
2.项目搭建、项目分层、核心代码编写
3.代码质量把控、code review
项目业绩:
1.实现同策数据湖平台搭建并上线
2.实现同策数仓开发规范,包括分层规范、数据集市划分规范和数据流转交互规范
3.由传统的基于 java 代码开发的模式转换到 flinksql 开发模式,大大提升了开发上线效率

数据湖实时架构

电子商务 · B2C 案例ID:209270
联系该工程师
微信扫码,建群沟通
作者: 曹海瑞 - 14年经验- 上海携程技术有限公司

案例介绍

该项目用于同策实时数仓建设,主要包括数据入湖、数仓分层、数据集市和数据展现
1.基于数仓分层标准实现 ods/dwd/dws/ads 层间数据流转
2.基于 flink cdc+hudi+kudu 构建数据湖准实时架构、应用架构搭建、maven 分层和多环境部署(开源)
3.基于 hudi+impala+hive 构建数据湖批次架构、应用架构搭建、maven 分层和多环境部署(开源)
4.基于 cdas+flinksql+hologres 构建数据湖实时架构、技术调研和多环境部署(阿里)
5.基于 dataworks+hologres 构建数据湖批次架构、技术调研和多环境部署(阿里)
6..基于阿里云构建高可用、高性能、高并发数据湖架构
项目职责:
1.架构设计、架构评审、技术选型
2.项目搭建、项目分层、核心代码编写
3.代码质量把控、code review
项目业绩:
1.实现同策数据湖平台搭建并上线
2.实现同策数仓开发规范,包括分层规范、数据集市划分规范和数据流转交互规范
3.由传统的基于 java 代码开发的模式转换到 flinksql 开发模式,大大提升了开发上线效率

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×