精通 Oracle、MySQL、DB2、GaussDB 等关系型数据库,能独立编写存储过程、函数与复杂 SQL 语句;
熟悉 Hadoop 生态体系,HDFS分布式存储,MapReduce、Spark 计算框架,使用 Hive 构建离线数仓;
熟悉离线数仓建设理论、分层方法和常用 ETL 实施流程;
熟练使用 Hive 进行离线数仓的开发 ,熟悉 HiveQL 性能调优,解决数据倾斜问题、小文件合并等问题;
熟悉 FineReport、FineBI、QuickBI 工具搭建报表流程;
熟悉 Linux 和 Shell 常用命令,可编写任务脚本封装 HiveQL、SparkSQL;
掌握 Sqoop/Kettle、Azkaban/DolphinScheduler、Git 等工具实现数据流转、任务定时及测试交付;
熟悉 Python 语法运用 pandas 工具库进行数据处理,熟悉 HTML、CSS、JavaScript 前端基础
项目名称:某市财政局驾驶舱项目(2025.11-至今)
项目架构:GaussDB+DM+Mysql+Oracle+Hive+DolphinScheduler
项目描述:某市财政局原有财政数据分散在多个系统,存在口径不统一、多层级数据监控效率低、决策支撑滞后等问题,启动全域财政驾驶舱建设项目,搭建覆盖预算执行、监督、债务、国有资本等核心领域的一体化数据可视化平台,实现全市财政数据的集中管控与智能分析,助力财政监管与决策的数字化升级。
具体工作:
1.对接产品经理梳理全市、市本级等多层级预算口径,提取核心字段完成预及下钻页面的全量数仓开发
2.创建并编写 SQL 作业按区县、部门维度聚合计算,生成 JSON 结构数据同步至达梦 ADS 层,支撑前端可视化
3.基于 DolphinScheduler 工具封装和配置任务调度流程,通过内置变量,保证任务主键唯一性与稳定运行
4.配合完成钻取页与驾驶舱主页数据校验与问题修复,确保上屏数据准确并顺利通过业务验收
项目名称:某银行信贷风险评估项目(2024.02-2025.09)
项目架构:DB2+Mysql+Oracle+Hive+Sqoop+Spark+Azkaban+QuickBI
项目描述:银行借贷业务逾期数据量增多,原数仓难以支持贷前、贷中、贷后全流程多维度逾期数据分析,导致对逾期情况洞察不够全面深入,缺失风险预警能力,风险部门难以及时获取信息,决策滞后。为扭转这一局面,提升风控水平,精准优化风控策略,需通过数仓重构打造更强大高效的数据支撑体系。
具体工作:
1.对接风控业务分析团队梳理贷前/中/后风控场景,确定业务逻辑及使用场景,盘点完成将数据入仓,完成数据准备
2.将信贷交易、用户等入仓后的数据进行数据清洗、维表统一沉淀为下游做进一步数据支撑
3.配置模型表的初始化脚本和封装 ETL 脚本工作流,以及工作流任务依赖、实现定时调度任务
4.上线后数据每日调度情况监控对于不稳定任务进行修复和调整,参与后续需求迭代和稳定性维护
某市财政局原有财政数据分散在多个系统,存在口径不统一、多层级数据监控效率低、决策支撑滞后等问题,启动全域财政驾驶舱建设项目,搭建覆盖预算执行、监督、债务、国有资本等核心领域的一体化数据可视化平台,实现全市财政数据的集中管控与智能分析,助力财政监管与决策的数字化升级。本人工作内容主
本项目针对某银行信贷业务逾期数据多、风险预警难的问题,搭建了高效的数据支撑体系。本人负责对接风控团队梳理贷前、贷中、贷后的业务场景,完成数据入仓与清洗工作;配置ETL脚本工作流并实现定时调度,维护并保障数据的稳定输出;同时上线后监控数据调度情况,及时修复任务问题并维护数仓稳定性,