案例介绍
元数据服务对数据库结构和数据量进行分类汇总，监听数据库实时变动，发送统计数据给下游统计服务。统计服务将业务系统的统计任务抽离，并实现实时统计，配置统计任务监听，接收上游元数据平台的原始数据，根据任务规则，触发统计任务。
主要职责：
1. 参与前期技术方案设计，需求评审和主要功能实现
2. 通过kafka接收元数据平台的原始数据推送
3. 根据规则触发任务，支持表字段级别和不同的数据写入动作的配置，支持精确和模糊匹配
4. 根据需求定制不同的统计任务，通过策略模式实现匹配
5. 使用canal监听binlog，并通过canal原生发送到kafka
6. 注册数据库实例到管理平台，进行初始化，通过kafka接收binlog日志进行增量更新
7. 对ddl语句解析维护数据库结构信息，支持对元数据添加标签；. 对dml语句进行实时统计，将结构和统计信息写入es，并根据配置发送消息到统计平台。
项目使用spring boot，使用mysql和elasticsearch作为存储，canal监听binlog，redis作为缓存，kafka消息队列
案例图片
相似案例推荐
其他人才的相似案例推荐
-
在线网站
这个一个企业的门户网站,展示了企业的业务,产品,企业文化,提
-
汽车售后接车管理系统
项目概述 独立设计并开发的汽车4S店/维修厂售后服
-
车载Python自动化测试框架
# 车载自动化测试框架功能介绍 ## 一、项目模块组成
-
企业客户数据看板
该平台为 ToB 企业提供多维度客户数据分析能力，整合销售线
-
智慧造林
作品介绍：智慧造林 🌳 项目概述 “智慧造林” 是一款面
-
XXX医院诊断学评价系统
负责整体需求分析及原型设计，系统数据库表设计及相关模块后台研
-
政务服务网站
这是一个政务服务网站,展示了政务服务内容、“一件事专区”、好
-
政务服务网站
这是一个政务服务网站，展示了服务业务、“一件事”专栏、便民服
-
TestHub - 测试管理平台
estHub - 测试管理平台 项目描述: 一个功能完整的
-
CMS移动端配置系统(低代码平台)
为应对营销活动页面频繁更新需求，设计低代码平台，允许非技术人
-
TY-PDMS
项目描述：PDMS（Plant Data Managemen
-
TK-AHU
项目描述： 基于微服务架构的HVAC行业专业后端系统，包含
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
