● 项目描述:客户侧已经有 hadoop/hive 构建的离线数仓,由于性能差,需要构建大数据实时数仓平台,目前平台24小时处理的数据量为219亿(3.5TB);
● 技术栈:clickhouse+postgresql+mysql+flink+java
● 个人分工:
1、实时数仓分层分域设计,制定流程规范,数据血缘、数据质量等设计;
2、客户沟通需求,搜集场景,输出规划方案,原型及需求规格说明书;
3、62节大屏、数仓建设、任务编排、U聊各类指标及客诉等系统建设;
4、与项目经理、研发、测试人员沟通协调需求及规划;
5、协助客户做数据分析及技术验证;