基本信息

案例ID:237744

技术顾问:Sustainable - 8年经验 - 中移集成

联系沟通

微信扫码,建群沟通

项目名称:统一指标平台

所属行业:企业服务 - 数据服务

->查看更多案例

案例介绍

数字政府建设省级运营指挥中心、综合效能监管平台、驾驶舱移动版等数据分析应用,通过对全省数字政府汇聚数据分析,助力全省数字政府效能持续提升,优化营商环境。
随着数字政府项目汇聚数据量增多,数据分析涉及的数据量越来越大,计算越来越复杂,指标治理过程中链路过长,数据IO次数较多已无法满足数据分析处理需求,需要对数据治理链路进行优化调整。当前数字政府项目中,数据经由业务系统,入湖到大数据基座,再进行数据治理形成专题库宽表,然后数据同步到MPP前置库,MPP前置库又挂载到指标管理平台,经过指标模型生成指标数据,最后通过指标服务提供给省级运营指挥中心、综合效能监管平台、驾驶舱移动版等应用系统。数据链路臃肿漫长,原始数据经历多次IO操作,当面临数据复杂度高、数据量大(十亿级)、增量数据变化快等项目场景时,会引起以下问题:
1)数据治理时间漫长,无法满足应用系统指标数据T+1的展示需求。项目中面对十亿级别大数据量场景,现有MPP库进行数据写入时,写入时间高达4小时以上,在进行数据查询时,复杂查询数据需要10分钟以上才能返回查询结果,数据治理整个过程极为缓慢,无法在早上7点前提供指标数据给应用系统。
2)数据计算逻辑难核对,数据经由业务系统处理后入湖,专题库对数据进行融合形成宽表,指标库根据指标需求建模生成指标,专题库与指标库均存在数据转换计算逻辑,与业务系统沟通指标计算口径时,需三方一起分析推演,较难界定数据处理逻辑在哪个阶段存在问题。
3)治理过程涉及中间件多,由于数据链路较长,数据存储与计算中间件繁多,其中任何一个环节中间件出现异常,都会引起指标数据计算错误或数据丢失,较难保障数据准确性及系统稳定性。同时链路繁杂造成需要投入更多的运营维护人力资源,增加了项目整体数据运营成本。指标平台根据业务需求向专题库提供汇总表元数据标准,专题库依据标准将融合宽表按专题构建汇总表日表,汇总表日表对宽表数据按照批次时间颗粒度计算压缩汇总。
4. 指标计算
指标平台在专题库中汇总库日表基础上进行二次数据压缩,形成汇总表(日表/月表/年表)。再通过指标模型以汇总表(日表/月表/年表)为基础计算得到指标数据,数据计算频次依业务要求,按需配置。目前甘肃项目计算频次要求1天1次,龙江项目计算批次除部分业务为1小时1次,其他为1天1次。

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服