软通集团中台数据分析平台

企业服务数据服务案例ID：229973

Last ReUnion

12 年经验· 北京银泰网

微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

 项目二：软通集团中台业务交付能效数据分析平台。
开发时间：2021.09~2023.05
开发工具：PostgreSql,MySQL,Kettle,KettleOnline, Talend,PowerBI,赛思BI，ETL
部署环境：Nginx、Windows、KettleOnlie调度
项目描述：企业数据仓库不仅是技术基础设施，更是数字化转型的核心驱动力。它通过将原始数据转化为可行动的洞察，帮助企业实现从“经验驱动”到“数据驱动”的跨越，最终提升运营效率、风险控制能力和市场竞争力。通过数据仓库技术将多平台数据进行整合与统一管理以提供复杂分析与决策参考依据。
主要技术栈：Kettle、Talend、KettleOnline、PostgreeSql、GuassDB、HBase、Hive、Spark、 PowerBI、KafKa、Prometheus/Grafana。
职责描述：
1、与业务部门沟通，了解其对数据需求和使用场景，确定关键指标和分析维度，梳理现有数据源。
2、设计分层数据仓库架构，包括源数据层，数据清洗转换层，数据存储层和数据应用层。
3、开发ETL流程，从不同数据源提取数据，并进行数据清洗，转换和验证。
4、基于业务需求，构建维度模式和事实表，优化数据存储结构，建立索引和分区，提高数据查询性能。
5、与前端开发团队合作，开发数据可视化界面，展示关键业务指标。定期生成可视化报表。
6、监控数据库性能，进行参数调整和优化查询语句。
项目成果：
1、替代业务部门手工Excel报表，定期生成运营日报、财务报表等，节省人力成本。
2、数据延时从原来的数小时缩短至30分钟以内,查询响应时间提高了80%。
3、通过数据指令措施,数据质量得到显著提升，错误率降低了90%。
4、数据仓库的查询性能提升了 50%，能够在短时间内处理复杂的分析查询。
5、开发的报表和可视化界面帮助集团管理层及时了解业务状况，支持多项重要决策，如集团高层每月月度会议通过参考数据仓库推送的各项数据指标进行管理策略的调整和制定。