项目一:企业级智能数据中台建设
担任核心架构师,主导从零搭建服务于全集团数十个业务线的数据中台体系。整体架构采用"采集-计算-服务-治理"四层模型,日均处理数据量超50TB,服务SLA达99.95%。采集层:基于Flink+Kafka构建
实时数据管道,支持日志、埋点、业务库Binlog三类源头毫秒级接入,自研Schema Registry实现字段变更无感迁移。计算层:离线调度基于Airflow+Spark,实时计算依托Flink
SQL双流Join与窗口聚合,建设统一指标语义层(OneID/OneModel),消除跨域口径歧义。服务层:通过Spring Cloud微服务集群对外暴露统一数据API,支持即席查询(ClickHouse引擎)、指标订阅、报
表渲染等场景,QPS峰值5万+。治理层:自研数据血缘追踪引擎(基于AST解析+图数据库Neo4j),实现字段级溯源与影响分析;质量巡检框架覆盖7类规则(空值/阈值/波动/一致性等),异常自动阻断下
游任务。个人核心贡献:设计指标管理子系统的DDD领域模型(定义/派生/复合三类指标元数据),驱动指标从注册、审核、发布到退出的全生命周期管控,将跨团队指标对齐周期从2周缩短至2天。
项目二:实时数据分析平台(BI智能化方向)
作为技术负责人,承建面向业务分析师的智能BI分析平台,日均查询请求超百万次。平台核心能力:语义化查询——用户以自然语言描述分析意图,后端经NLP意图解析+Text2SQL引擎自动生成SQL,查询结
果支持20+可视化图表一键渲染。技术架构:前端Vue3+ECharts/D3.js动态图表引擎,后端Spring Boot网关层负责权限校验与查询路由,分析引擎层对接ClickHouse(OLAP秒级响应)与MySQL(维度元数
据),AI推理层部署大模型微服务(Prompt编排+Schema注入+SQL校验三阶段流水线),推理延迟控制在3秒内。个人核心贡献:主导Text2SQL引擎的Prompt工程与Schema上下文组装策略,将单表查询准确
率从初期60%提升至88%;设计查询缓存与预计算机制(热点Query自动物化视图),P95响应时间从8秒降至1.2秒;建设审计日志与敏感数据脱敏拦截链路,通过合规评审。
项目三:数据资产目录与元数据管理平台
牵头建设集团级数据资产目录系统,接入6个数据源、30万+表资产,实现"找数据-用数据-评数据"一站式闭环。技术方案:元数据采集采用自研Scanner插件体系(支持Hive/MySQL/ClickHouse/Kafka等)
,增量同步基于Binlog+时间水印双保障;搜索引擎基于ElasticSea