实时数仓架构设计、搭建与开发

电子商务-B2B 桐亽

项目描述:随着公司业务的发展,对数据的及时性要求越来越高,传统的离线数仓满足不了实时的业务需求,于是需要在实时方面做技术突破。期初我有研究过Canal+Kafka+Spark+Impala做准实时架构,这个方案有使用过一段时间,但是在Spark消费Kafka数据有一定延时,Impala加工结果数据也有一定延时,这就导致数据是准实时的,这个只能满足对数据实时性要求不高的场景,因此需要做新的突破。 现流行的Flink分布式流数据流引擎,非常适合公司的业务需求,所以自己研究实时数仓架构,设计出Flink+Doris+Dinky实时架构,并搭建用于生产,用Doris建立实时数仓,数据时效性在1s左右...

实时数仓架构设计、搭建与开发
实时数仓架构设计、搭建与开发
实时数仓架构设计、搭建与开发

报表数据开发

电子商务-B2B 桐亽

项目描述:公司在开发EOC汉河版,项目工期紧迫,我除了负责EOC汉河版报表的数据开发,还负责基于SpringBoot开发后端接口。数仓历经离线数仓、准实时数仓、实时数仓的迭代,因此数据的开发也经历过hive、impala、doris开发。也负责客户画像、汉盯平台的指标开发,基于海豚调度做数据质量监控。 工作职责:汉河版报表、客户画像等数据开发、后端接口开发、数据质量监控...

报表数据开发
报表数据开发
报表数据开发
------ 加载完毕 ------
联系聘用方端客服