1. 8年大数据架构:数据湖/仓设计、实时数仓(Flink)、数据治理(血缘/质量/元数据)。
2. 大数据技术:Hadoop、Spark、Flink、Hive、Kafka、HBase、ClickHouse、Kylin、Elasticsearch。
3. 云计算:AWS(EMR/S3)、阿里云(MaxCompute/DataWorks)。
4. 数据应用:BI可视化、实时风控平台、用户画像、搜索推荐引擎。
5. 编程语言:Java、SQL、Python。
6. 5年java后端开发经验,开发过spring boot应用,熟悉Redis/MySql数据库开发
负责非洲最大音乐流媒体平台 Boomplay(日活千万级)的大数据平台搭建落地及管理工作。
1.数据平台规划与架构设计:
主导音乐数据中台建设,设计Lambda架构(Flink实时计算 + Spark离线批处理),设计分层数仓模型(ODS→DWD→DWS→ADS),日均处理 40亿+埋点数据,支撑实时查询与批量分析。
构建数据治理体系,实现数据血缘可视化与自动化质量监控,制定数据标准规范。
2.数据产品落地:
搭建 BI报表系统(业务运营报表/内容合作方报表/艺人报表/用户资产报表/广告报表/版税报表等),日均生成报表 100+,支持业务决策效率提升 60%。
设计实时风控平台(Flink + Redis),拦截刷歌行为 150万+/日,版税误差降低 4%。
开发用户画像系统(标签100+),支撑亿级消息精准推送,FCM消息cvr提升70%。
3.云迁移与成本优化:
主导大数据服务从AWS迁移至阿里云,重构计算与存储架构,优化资源调度策略,实现成本下降60%。
4.团队管理:
带领10+人团队完成需求分析、任务分派与交付,支撑平台业务日活从万级到千万级的快速增长。