负责设计和搭建⾼可⽤、⾼性能的算法⼯具平台,主要包括模型管理、特征管理、系统回放、回测等系
统能⼒,通过配置化管理平台将实时、离线、回放埋点等多种不同数据源特征⾼效便捷的同步⾄不同底层存储,同时
提供回放、回测等系统能⼒,⽀撑算法模型从特征提取、特征管理和查询、模型推理、模型回测、系统功能回放等全
⽣命周期管理。
模型管理: 参与设计和建设模型管理平台,统⼀管理公司不同推理平台部署的在线推理模型,通过将模型绑定的特征⾃动化加载,模型推理等流程封装成统⼀的SDK对外提供服务,使
得模型在线推理接⼊更加⾼效便捷。
· 特征管理平台: 通过配置化管理平台将实时、离线、回放埋点等多种不同数据源数据通过⾃动化⽣成任务⾼效便捷的同步⾄不同底层存储;设计基于 Redis + tair 的⾼可⽤存储架构,采⽤ Snappy
压缩核⼼特征,实现 PB (Protobuf) 描述⽂件的动态修改(MySQL存储),⽀持特征组存储,显著降低存储成本并
提升读取性能。
· 数据质量保障: 依托与内部任务调度系统,建⽴全链路数据监控体系。实现任务⾃动注册、失败重试及数据量
统计;开发 DataCheck 模块,在数据加载完成后⾃动进⾏随机采样对⽐,并对零值、Null值、值域范围进⾏实时
告警,确保特征准确性。同时设计特征多版本控制机制,⽀持按天保留历史版本(默认3天),实现0成本秒级切
换与回滚。
· 业务回放与⾃动化回测体系: 统⼀回放平台: 制定统⼀的埋点与查询协议规范,打通调度、资产、换电等核⼼业
务系统,实现⽣产环境流量的 ⾼保真包含回放,辅助排查复杂链路问题。⾃动化回测平台: 抽象业务回测流程
(DAG),实现从“特征加载 -> 模型推理 -> 指标计算 -> 结果存储”的全流程⾃动化,⽀持算法策略的离线快速验
证与调优。