联想供应链覆盖全球30+工厂、2000+供应商及30万+种物料,其核心计划系统需支撑S&OP、MPS、MRP、APS(高级计划与排程)等复杂场景。我负责实时数据管道与计算引擎建设,基于Flink/Spark Streaming实时清洗来自ERP、MES等系统的订单、库存与产能数据,为APS算法引擎提供毫秒级特征数据;同时设计基于Paimon/Iceberg的流批一体湖仓架构,统一实时调度与离线回溯的数据口径。
Flink作业运行总览界面展示了从Kafka数据源接入、经Flink ETL实时处理,最终写入Paimon Lakehouse的完整数据流转链路。监控看板实时呈现各算子吞吐量(TPS)、Kafka消费Lag积压量、算子间反压状态(High/Low)及Checkpoint的完成耗时与失败次数,协助快速定位性能瓶颈。通过配置合理的水位线间隔与异步快照机制,Checkpoint成功率保持在99.5%以上,状态恢复时间小于10秒,确保端到端处理延迟稳定在秒级,支撑供应链实时决策对数据时效性的严苛要求。
联想供应链覆盖全球30+工厂、2000+供应商及30万+种物料,其核心计划系统需支撑S&OP、MPS、MRP、APS(高级计划与排程)等复杂场景。我负责实时数据管道与计算引擎建设,基于Flink/Spark Streaming实时清洗来自ERP、MES等系统的订单、库存与产能数据,为APS算法引擎提供毫秒级特征数据;同时设计基于Paimon/Iceberg的流批一体湖仓架构,统一实时调度与离线回溯的数据口径。...
Flink作业运行总览界面展示了从Kafka数据源接入、经Flink ETL实时处理,最终写入Paimon Lakehouse的完整数据流转链路。监控看板实时呈现各算子吞吐量(TPS)、Kafka消费Lag积压量、算子间反压状态(High/Low)及Checkpoint的完成耗时与失败次数,协助快速定位性能瓶颈。通过配置合理的水位线间隔与异步快照机制,Checkpoint成功率保持在99.5%以上,状态恢复时间小于10秒,确保端到端处理延迟稳定在秒级,支撑供应链实时决策对数据时效性的严苛要求。...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人