南京某科研单位存算平台与数据管理平台建设

企业服务-行业细分软件 swag

职责:数仓建模 + 指标体系建设 + 数据治理 在Ubuntu 系统Arm架构下完成部署大数据管理平台和Docker; 负责存算平台整体交付,完成多种数据存储与计算组件选型与部署(HDFS、S3、ClickHouse、ES、Redis、达梦等); 基于FlinkSQL实现数据清洗加工落库到Dameng,; 在缺乏真实业务数据情况下,基于业务场景构建模拟数据与演示方案,支撑系统功能验证与交付; 负责多厂商(6家)平台使用培训与数据接入链路技术支持,输出数据接入与使用规范 成果: 完成多类型数据存储与计算平台交付,支撑多源异构数据统一管理; 构建数据处理链路(采集→...

南京某科研单位存算平台与数据管理平台建设
南京某科研单位存算平台与数据管理平台建设

广州市交通局融合管理平台数据指标

企业服务-数据服务 swag

职责:数仓建模 + 指标体系建设 + 数据治理 数据调研和设计11个业务域指标体系(公交/地铁/运输等); 构建ODS-DWD-DWS三层数仓体系; 业务数据接入、SQL存储过程编写、设计数据ETL作业流程定时调度; 统一数据口径,解决多源数据不一致问题; 前后端包部署更新,验证数据正常可视化展示; 未及时更新的数据排查,例如从业务系统源头有没有数据、数据同步作业是否正常、数据加工作业是否正常、spark任务是否正常等; 成果: 建立统一指标体系,提高数据一致性 实现多源数据整合与标准化输出 数据链路稳定,自动化标识未及时更新数据,提供可视化的报表;...

广州市交通局融合管理平台数据指标
广州市交通局融合管理平台数据指标
------ 加载完毕 ------
联系需求方端客服