需求描述
一、项目背景 / 现状
公司需接入多家大模型供应商 API,现缺少统一验证基线和横向对比数据,无法支撑选型决策。招募 1 名兼职测试工程师,远程项目制,完成全部供应商模型的测试与验证。
二、需要开发的功能(工作内容)
1. 接入连通性:鉴权、协议、SDK、错误码验证
2. 功能正确性:对话、流式输出、工具调用、结构化输出
3. 性能测试:延迟(P50/P95/P99)、吞吐、并发压测、长稳
4. 稳定性:超时重试、限流、故障切换、会话一致性
5. 交付物:每家供应商测试报告 + 横向对比矩阵 + 缺陷清单 + 自动化测试脚本
三、技术要求
1. 必须:Python 熟练;REST/SSE 流式接口测试;pytest 自动化;压测工具(locust/wrk 任一);熟悉主流大模型 API;Git/Linux 基础
2. 加分:AI 产品 / 大模型应用测试经验;熟悉多供应商 API 差异;RAG/Agent 测试经验;英文阅读能力
3. 素质:细心、逻辑清晰、报告规范、远程独立按时交付
四、时间要求
- 周期:1-2天,远程
- 结算:按里程碑或按小时均可,面议;录用前需完成操测试题