职责:数仓建模 + 指标体系建设 + 数据治理
数据调研和设计11个业务域指标体系(公交/地铁/运输等);
构建ODS-DWD-DWS三层数仓体系;
业务数据接入、SQL存储过程编写、设计数据ETL作业流程定时调度;
统一数据口径,解决多源数据不一致问题;
前后端包部署更新,验证数据正常可视化展示;
未及时更新的数据排查,例如从业务系统源头有没有数据、数据同步作业是否正常、数据加工作业是否正常、spark任务是否正常等;
成果:
建立统一指标体系,提高数据一致性
实现多源数据整合与标准化输出
数据链路稳定,自动化标识未及时更新数据,提供可视化的报表;