Tommy的案例列表
大数据项目
跨境电商数仓项目 软件架构： 离线：MySql -> Spark-SQL(平台封装工具)-> Hive -> Spark-sql(WaterDrop) -> clickhouse 实时：MySql(binlog) -> canal -> Kafka -> Flink -> (kafka,HDFS) -> clickhouse 数据流向： 使用平台封装的 Spark-SQL 对mysql数据抽取写入Hive表中，对数据进行 脱敏，降噪，去异常，数据建模，数据聚合等操作，通过封装的WaterDrop 把数据导入到Clickh
实时数仓
数据流向： 使用Clickhouse的kafka引擎拉取Kafka数据到clickhouse本地集群，通过物化试图对数据进行消费，写入到分布式表中。summingMergeTree引擎基于ReplicatdMergeTree进行预聚合，并设置数据的 TTL 生命周期。通过WaterDrop从Hive中把历史数据导入对应的summingMergeTree引擎的表中。提供实时的多维聚合查询。 离线架构： MySql -> Spark-SQL（平台封装工具） -> Hive ->Spark-sql(WaterDrop) -> clickhouse 实时架构： MyS
案例判断参考
Tommy的案例列表
大数据项目
跨境电商数仓项目 软件架构： 离线：MySql -> Spark-SQL(平台封装工具)-> Hive -> Spark-sql(WaterDrop) -> clickhouse 实时：MySql(binlog) -> canal -> Kafka -> Flink -> (kafka,HDFS) -> clickhouse 数据流向： 使用平台封装的 Spark-SQL 对mysql数据抽取写入Hive表中，对数据进行 脱敏，降噪，去异常，数据建模，数据聚合等操作，通过封装的WaterDrop 把数据导入到Clickh...
实时数仓
数据流向： 使用Clickhouse的kafka引擎拉取Kafka数据到clickhouse本地集群，通过物化试图对数据进行消费，写入到分布式表中。summingMergeTree引擎基于ReplicatdMergeTree进行预聚合，并设置数据的 TTL 生命周期。通过WaterDrop从Hive中把历史数据导入对应的summingMergeTree引擎的表中。提供实时的多维聚合查询。 离线架构： MySql -> Spark-SQL（平台封装工具） -> Hive ->Spark-sql(WaterDrop) -> clickhouse 实时架构： MyS...
