本项目需要进行两类测试:一类是系统功能性测试,另一类是模型质量测试。
在系统功能性测试方面,主要包括 API 测试和单元测试。API 测试需要自动化地构建后台所需的数据库(以 SQL 数据库为主),然后在前端设定具体的请求参数,验证系统返回的响应是否符合预期。这部分工作可能需要编写脚本,实现数据库的初始化、请求模拟、响应验证等流程,从而实现自动化部署和测试。
在模型质量测试方面,需要搭建一个质量测试框架。该框架允许用户输入提示词并设定期望的回复,用以评估实际模型回复的质量。其核心目标是用于比较不同模型,或同一模型在不同提示词下的响应质量差异。测试结果需要存储在数据库中,并由后台提供一个友好的用户界面,使用户能够输入提示词、查看历史结果并进行对比。
这是一个开放性的项目,关键在于设计出一个实用且高效的测试框架和解决方案,满足系统功能验证和模型质量评估的双重需求。
=======
数据库: PostgreSQL,配合 Prisma ORM
实时功能: Redis、Socket.IO、Bull 队列
云服务: Azure(包括 OpenAI、Blob 存储)
认证: JWT、Passport.js
其他功能: 邮件发送(Nodemailer)、限流、任务调度