职责与成果:
1.参与三大 AI 模块需求评审,明确大模型 API 接口规范、调用流程及 RAG 检索增强技术方案,独立完成全
场景业务用例设计,输出测试计划与上线质量报告,闭环管控版本质量;
2.基于 Apifox 完成大模型流式接口、向量检索接口专项验证,覆盖 Token 截断、传输中断等异常场景;通过
Charles 抓包定位首字延迟、弱网超时瓶颈,推动研发优化传输策略,提升 AI 问答弱网稳定性;
3.针对 RAG 知识库模块,验证文档切片策略与向量检索效果,通过 50+个核心问题的检索召回率验证,确保知
识库召回率 ≥ 95%,解决知识检索不准确导致的回答偏差问题;
4.基于 Python+Pandas 构建 200+条评测数据集,落地 LLM-as-a-Judge 自动评测,三维度归类坏样本,核心
场景准确率 92%,替代 70%人工评测;借助 Coze 搭建测试智能体批量生成 AI 用例,提效用例设计;
5.采用 Linux 查询后端服务日志,结合 MySQL 校验 API 调用量、成功率等核心指标数据一致性,快速复现、
个 人 简 历
定位模型输出异常类缺陷;
6.使用飞书全流程跟踪缺陷,推动研发修复闭环,版本上线后输出 AI 模型质量评估专项报告,为大模型迭代优
化提供量化数据支撑;