1、核心项目:企业ETL调度体系重构与自动化管理
项目背景:公司初期ETL调度依赖Kettle本地资源库及自带调度器,作业管理松散、任务嵌套复杂,维护耗时且极易出错。
我的职责与成果:
1. 重构资源库架构:将Kettle本地资源库升级为数据库资源库,实现作业与转换的统一版本管理;同时将手工维护的调度数据改造为自动收集机制,完成数据资产的自动化盘点。
2. 引入开源调度系统:部署DolphinScheduler等开源调度平台,实现任务依赖、失败重试、日志追踪等能力的可视化,调度管理效率提升50%以上。
3. 调度策略解耦:针对原有一个作业嵌套多层任务的“大泥球”模式,按表的增量/全量判断、调度批次、业务系统归属进行归类拆解,重构为轻量化、可复用的原子作业。改造后,调度执行效率提升显著,日常维护成本降低约60%,且支持财务、市场等多条业务线并行迭代。
2、项目二:财务BI系统从0到1建设
项目背景:财务月结时需从多个业务系统导出Excel,再手工整合出具报表。由于基地多、格式杂、收集难,每月耗时费力且易出错。
我的职责与成果:
1. 数据入仓:将财务手工导出的各业务系统报表逻辑迁移至数据仓库,其中包括将SAP ABAP程序改写为高效SQL,利用Kettle建立自动化ETL转换,通过调度系统实现每日自动计算。
2. 业务逻辑整合:与财务深入沟通手工报表的整合口径,编写复杂SQL生成实体表,既解决了多源数据存储难题,又统一了计算逻辑。
3. BI可视化:基于帆软Report工具,将结果表开发为多指标财务看板,覆盖利润分析、成本监控、基地对比等核心场景。财务人员可实时查看月结进度与关键数据,月结效率提升70%以上,彻底告别手工报表。