大数据项目

电子商务-B2C Tommy

跨境电商数仓项目 软件架构: 离线:MySql -> Spark-SQL(平台封装工具)-> Hive -> Spark-sql(WaterDrop) -> clickhouse 实时:MySql(binlog) -> canal -> Kafka -> Flink -> (kafka,HDFS) -> clickhouse 数据流向: 使用平台封装的 Spark-SQL 对mysql数据抽取写入Hive表中,对数据进行 脱敏,降噪,去异常,数据建模,数据聚合等操作,通过封装的WaterDrop 把数据导入到Clickh...

大数据项目
大数据项目

实时数仓

电子商务-B2C Tommy

数据流向: 使用Clickhouse的kafka引擎拉取Kafka数据到clickhouse本地集群,通过物化试图对数据进行消费,写入到分布式表中。summingMergeTree引擎基于ReplicatdMergeTree进行预聚合,并设置数据的 TTL 生命周期。通过WaterDrop从Hive中把历史数据导入对应的summingMergeTree引擎的表中。提供实时的多维聚合查询。 离线架构: MySql -> Spark-SQL(平台封装工具) -> Hive ->Spark-sql(WaterDrop) -> clickhouse 实时架构: MyS...

实时数仓
实时数仓
------ 加载完毕 ------
联系聘用方端客服