技术能力

我深耕大数据与AI工程化8年以上，具备PB级数据链路从架构设计到落地调优的端到端能力。大数据平台层，熟练掌握Hadoop/YARN/HDFS、Spark、Flink、Hive、HBase、Kafka及Doris/ClickHouse，能主导离线数仓、实时数仓与湖仓一体（Hudi/Iceberg）的分层设计与数据治理，实时链路精通Flink SQL、状态管理与RocksDB状态后端调优、端到端Exactly-Once、反压定位与Kafka削峰。华为技术栈上，基于FusionInsight、华为云MRS、DataArts、GaussDB(DWS)构建过多租户大数据平台，熟悉Kerberos+Ranger安全体系、YARN多租户资源隔离与租户级SLA保障。AI/算法方向，熟悉推荐、搜索、画像、风控场景的特征工程与召回/排序模型（双塔、DeepFM、DIN）及在线学习，掌握ModelArts与CANN/昇腾NPU训练加速、推理服务化与MLOps全流程（特征平台、模型注册、灰度发布、指标监控）。架构与性能上，擅长容量规划、JVM/GC与SQL执行计划调优、数据倾斜与小文件治理，并长期负责技术方案评审、研发规范制定与团队技术引领。

项目经验

项目一：【某产品线】PB级实时湖仓一体数据平台（数据平台架构师）。 背景：原T+1离线数仓无法支撑实时经营分析与风控时效，数据日增约【数十TB】、总量约【XX PB】。我主导架构设计与核心攻坚：基于FusionInsight/MRS搭建统一底座，完成容量规划、YARN多租户隔离与Kerberos+Ranger安全加固；设计"Kafka+Flink+Hudi/Iceberg"流批一体链路，业务库经FlinkCDC实时入湖并支持Upsert，替代Lambda双链路；下沉Doris/ClickHouse支撑秒级OLAP，用DataArts落地质量校验与血缘治理、统一指标口径；针对数据倾斜与反压以两阶段聚合、增量Checkpoint与RocksDB调优攻坚。成果：端到端时延由T+1降至【秒级】，核心报表P99降至【1秒内】，计算与存储成本下降约【30%】，稳定支撑日均【数亿】条数据。

项目二：【电商/金融】智能推荐与风控算法平台（算法架构师）。 背景：场景转化偏低、特征滞后、迭代缓慢。我主导召回-排序-重排全链路与实时特征平台：基于Spark做特征工程与样本生产，双塔召回叠加DeepFM/DIN排序，接入Flink实时特征实现准实时更新；基于ModelArts与昇腾NPU完成训练加速与推理服务化，建立A/B实验与模型监控。成果：核心场景CTR提升约【15%】，风控召回率提升约【20%】、误杀率下降约【10%】，推理TP99控制在【50ms】内。

团队情况