具有10年数据工作经验。是多个大型数据项目的负责人,有复杂业务场景离线/实时数仓建模经验,实现多个业务的从0-1数据仓库建设,拥有丰富的数据中台架构设计与落地经验和数据治理经验。
技术栈:
计算/处理:Hive SQL、Spark(SQL/Streaming)、Scala、Python、Shell、Hadoop
OLAP/存储:Doris、MySQL
调度/可视化:DolphinScheduler、FineReport、Superset、Sugar
服务于百度多条核心业务线,涵盖 IM 即时通信、动态/娱乐动态内容分发、手机百度搜索实时监控等。业务覆盖离线数仓建设、实时数据开发方向。 我的职责和工作内容: 离线数仓从 0 到 1 建设:主导 IM 业务、动态/娱乐动态等多个业务线的数据仓库搭建与迭代重构,制定日志上报规范,设计 ETL 流程,构建 DWD/DWS/ADS 分层模型,支撑业务指标统计与核心报表开发。 实时数据开发:基于 Spark、Scala、Doris 构建手机百度搜索双端到达率、结果页及落地页速度的实时指标监控体系,实现问题的实时发现与体验优化。