大模型管理平台

功能介绍
1. 模型广场：支持多厂商、多类型模型接入，提供模型检索、信息维护、API 文档查看及推理服务关联管理，并支持配置备用模型。
2. 模型体验：支持文本对话、图像理解、图片生成、视频生成、语音识别与合成等在线体验，提供参数调整、历史记录及多模型对比调试。
3. 模型部署：支持创建、编辑、复制、发布、下架及删除部署任务，提供部署详情、接口调用示例、资源监控和安全拦截配置。
4. 模型训练：支持主流模型的监督微调，兼容 PyTorch、MindSpeed 等训练框架，支持自定义超参数及 LoRA、QLoRA、全参更新，训练完成后可一键部署。
5. 效果评测：支持模型裁判评分、人工评分和自动规则评分，覆盖准确率、F1、ROUGE、格式遵从性等指标，并支持多模态人工评测。
6. 性能评测：支持模型服务压测及评测参数配置，展示请求成功率、QPS、首 Token 时延、包间时延和端到端时延，提供评测报告及任务导出。
7. Prompt 管理：支持在线编排、变量填充、调试、AI 辅助生成与优化，提供版本管理及不同模型的输出效果对比。
8. 数据集管理：统一管理训练集和评测集，支持文件上传、内部路径导入、数据预览与编辑、版本管理、发布及导出，并支持多模态评测数据。
9. 路由管理：支持模型接口转发、负载均衡及路由启停，兼容 HTTP、HTTPS、WebSocket，支持按模型负载比例、请求头和上下文 Token 配置路由策略。
10. 应用管理：支持应用创建、模型关联与解绑，提供 Token、API Key 鉴权，以及请求、并发、Token 用量和调用时间段限制。
11. 会话管理：支持按时间、模型、应用查询调用记录，查看请求与响应内容、执行状态、耗时、流式标识和异常原因。
12. 算力监控：支持 GPU、NPU 及节点资源监控，展示显存、利用率、温度和功率等指标，支持训练与推理任务资源使用分析及监控数据导出。
13. Token 与 API 用量管理：支持按时间、应用和模型查询 Token 消耗及接口调用量，帮助掌握使用趋势，为成本分析与容量规划提供依据。