项目一:Flink + Doris 实时数仓建设 项目背景:为满足业务实时数据分析需求,搭建基于 Flink + Doris 的实时数仓平台。 职责:负责 Doris 集群技术选型、搭建及参数调优(4节点,16核64G),基于 Flink 开发实时数据处理链路,最终实现实时数据统计延迟 100ms 以内。同时搭建 ClickHouse OLAP 集群(3节点)支撑用户画像和报表查询,并建设基于 Azkaban 的任务调度和监控平台。
项目二:企业级数据仓库平台建设 项目背景:针对企业数据杂乱、不规范的问题,从零搭建完整的数据仓库体系。 职责:梳理多源数据(自有数据 + 中台数据),进行数据分域划分(按业务主题建设),设计数仓分层结构(ODS/DWD/DWS/APP),完成数据同步、ETL 清洗、维度表建设、宽表整合及下游应用对接。涉及 Hive 数据仓库建设、HBase 接口对接、外部数据(MySQL、COS)同步等完整链路。
项目三:实时大数据平台全栈开发 项目背景:公司测试平台的前后端业务需求开发与版本发布。 职责:负责需求评估、接口设计与数据库表设计、接口代码审计与调优、K8s 集群维护、需求上线发布。