11年数据仓库与大数据开发经验,曾在招商银行、华为、众安银行(香港)等机构主导数仓架构设计与数据治理体系建设。擅长从0到1搭建数仓分层架构(ODS→DWD→DWS→DM/ADS),精通维度建模与主题建模,有完整的数据治理落地经验(数据标准、元数据管理、数据质量、数据血缘、主数据管理)。
技术栈方面,精通Hive/Spark/PySpark及MPP数仓(Gauss/TD/MaxCompute),熟悉亿级数据ETL开发与SQL性能调优(核心作业性能提升50%+)。熟练使用DolphinScheduler调度工具,熟悉MySQL/HBase等数据库,具备Python/Java/Shell开发能力。
近期在项目中落地AI辅助数据开发(Claude Code + 国产大模型),实现SQL自动重构、元数据生成与质量规则编写,团队效率提升30%。
项目名称: 华为E+IOC营销分析 & 管道预测系统重构
项目时间: 2023/08 – 至今
项目角色: 数据架构负责人
技术栈: Hive、Spark、PySpark、SQL
项目描述:
华为对公营销核心系统,承载商机量化研判与经营预测。针对数据链路混乱、亿级ETL性能瓶颈等问题,主导完成全量数据架构重构。
工作内容:
设计ODS/DWD/DWS/DM四层数仓架构与全链路ETL方案,完成分布式计算资源调度规划,从0到1搭建完整数仓体系。
诊断并优化亿级数据SQL慢查询,核心作业性能提升50%以上。
落地AI辅助开发(Claude Code+GLM5.1),实现SQL自动重构与质量规则编写,团队效率提升30%。
项目成果: 系统2个月准时上线,获华为项目经理及业务方高度认可,获职级晋升。