项目介绍:
该平台面向公司多业务线的数据分析与决策场景,统一管理核心业务指标与维度体系,解决不同系统间指标口径不一致、重复开发、查询链路复杂以及数据不可追溯等问题,支持指标从定义、计算、存储到查询的全链路管理。
平台支持离线与实时双链路指标计算能力,并通过统一指标服务对外提供标准化API能力,服务于BI报表、数据分析、推荐策略及业务监控等多个场景。
个人职责:
负责指标中心核心模块设计与开发,包括指标定义模型、指标版本管理、指标血缘关系建模,实现指标从“定义 → 计算 → 使用”的全链路追踪能力
设计并实现指标与维度统一元数据模型,支持多级维度体系(如用户维度、设备维度、地域维度等)及维度映射规则,保证跨业务指标口径一致性
参与构建指标计算调度体系,基于任务依赖关系实现指标自动调度执行,支持离线(Hive/Spark)与实时(Flink)混合计算链路
开发指标查询服务API(Java后端),基于Redis + 本地缓存 + 异步加载优化查询性能,支持高并发低延迟指标查询请求
负责指标数据一致性保障机制设计,包括指标版本灰度发布、回溯计算与数据校验机制
建立指标质量监控体系,对指标延迟、缺失率、异常波动进行实时检测并触发告警
技术亮点:
基于元数据驱动架构实现指标统一建模,提升指标复用率与一致性
结合Kafka + Flink + Spark构建实时+离线双链路指标体系
设计指标血缘关系模型,实现指标依赖可追踪与影响分析
使用多级缓存(Redis + 本地缓存)优化指标查询性能,支持高并发访问场景
引入指标版本机制与灰度发布,支持历史指标回溯与对比分析