基于开源 new-api 的二次开发版本,统一聚合 40+ 上游 AI 服务商 (OpenAI / Claude / Gemini / Azure / AWS Bedrock / 国产 Qwen 等),对外暴露统一 OpenAI 兼容协议。包含用户管理、计费、配额、限流、审计、运维大盘、文档站等完整企业能力。
核心模块:
- Relay 适配层: 上游协议互转 (OpenAI ↔ Claude ↔ Gemini),流式 / 工具调用 / 多模态 / Prompt Caching
- 计费表达式系统: 自研 DSL 支持分层定价、Token 归一化、配额与扣费联动
- RBAC + 审计: 控制面操作双写 stdout audit,符合 Loki retention_stream 规范
- Operations 大盘: 成本 / 趋势 / 分布图表,部门视图与用户视图
- 文档站: 三 Tab 接入指南/用好网关/参考,模型选型矩阵 (8 类场景),CC Switch 智能预填
关键工程决策:
- 三库兼容: 所有 SQL 走 GORM 抽象,raw SQL 用 commonTrueVal/commonGroupCol 等 helper
- Relay 请求 DTO 强制使用指针类型 + omitempty,避免零值 (0/false) 被静默丢失
- common/json.go 统一封装 JSON 序列化,为后续切换更快 JSON 库留口