运维数据中台

人工智能其他案例ID：201272

ivan

4 年经验· 字节跳动

微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

运维数据中台
小米公司当前存在数十个运维相关的系统，这些系统生产的数据缺乏统一的管理，没有一个全局数据中心，对数据进行资产化，用户经常面临“找数难”、“取数难”、“用数难”的问题, 因此运维数据中台孕育而出, 做到对数据资产统一管理，做到数据资产的安全、可见、可靠、可用和可运营，这也是对AIops的一个探索，作为AIops的数据底座，为AIops模型训练提供运维数据来源，实现AIops的异常检测、根因分析、故障自愈等
技术栈: java1.8, go1.17, 维度建模, mysql5.7, redis, grafana, 分布式系统, python3.8, Django1.12.11,飞书小程序，flink1.12, spark, talos(小米自研消息队列), doris, iceberg, presto, whale(小米自研BI报表平台), k8s, docker, fds(小米自研对象存储), loki，elk，elasticsearch
工作职责:
1.负责对各部门的需求跟踪, 沟通和对接, 确保新需求顺利接入
2.负责项目核心服务的开发, 提供技术解决方案, 跟踪用户场景, 评估数据价值
3.运维数仓建设：负责在数据联接层构建关联关系, 对各主题下的数据维度打通,形成图模型, 多维模型, 标签模型, 指标模型, 算法模型等各种数据模型, 并用One-Service提供提稳定, 可靠的对外api
数据域建设：
（1）服务域建设: 打通从data-switch->talos topic1->flink->talos topic2 -> flink sql的数据清洗链路,实现garm系统的清洗,设计基础变更系统表结构,为基础变更大屏的基础设施变更层的变更数据做支撑,实现实时数仓
（2）成本域建设: 用spark把资源与成本中心的成本数仓合并到运维数仓, 实现离线数仓
（3）容器域建设: 对接容器平台, 将容器数据同步到数仓, 并用whale对容器资源制作报表展示进行olap分析