多上游 AI API 网关/聚合代理
案例介绍
核心模块:
- Relay 适配层: 上游协议互转 (OpenAI ↔ Claude ↔ Gemini),流式 / 工具调用 / 多模态 / Prompt Caching
- 计费表达式系统: 自研 DSL 支持分层定价、Token 归一化、配额与扣费联动
- RBAC + 审计: 控制面操作双写 stdout audit,符合 Loki retention_stream 规范
- Operations 大盘: 成本 / 趋势 / 分布图表,部门视图与用户视图
- 文档站: 三 Tab 接入指南/用好网关/参考,模型选型矩阵 (8 类场景),CC Switch 智能预填
关键工程决策:
- 三库兼容: 所有 SQL 走 GORM 抽象,raw SQL 用 commonTrueVal/commonGroupCol 等 helper
- Relay 请求 DTO 强制使用指针类型 + omitempty,避免零值 (0/false) 被静默丢失
- common/json.go 统一封装 JSON 序列化,为后续切换更快 JSON 库留口
多上游 AI API 网关/聚合代理
案例介绍
基于开源 new-api 的二次开发版本,统一聚合 40+ 上游 AI 服务商 (OpenAI / Claude / Gemini / Azure / AWS Bedrock / 国产 Qwen 等),对外暴露统一 OpenAI 兼容协议。包含用户管理、计费、配额、限流、审计、运维大盘、文档站等完整企业能力。
核心模块:
- Relay 适配层: 上游协议互转 (OpenAI ↔ Claude ↔ Gemini),流式 / 工具调用 / 多模态 / Prompt Caching
- 计费表达式系统: 自研 DSL 支持分层定价、Token 归一化、配额与扣费联动
- RBAC + 审计: 控制面操作双写 stdout audit,符合 Loki retention_stream 规范
- Operations 大盘: 成本 / 趋势 / 分布图表,部门视图与用户视图
- 文档站: 三 Tab 接入指南/用好网关/参考,模型选型矩阵 (8 类场景),CC Switch 智能预填
关键工程决策:
- 三库兼容: 所有 SQL 走 GORM 抽象,raw SQL 用 commonTrueVal/commonGroupCol 等 helper
- Relay 请求 DTO 强制使用指针类型 + omitempty,避免零值 (0/false) 被静默丢失
- common/json.go 统一封装 JSON 序列化,为后续切换更快 JSON 库留口
案例图片
相似案例推荐
-
自动化运维监控
该案例为企业服务器自动化发布与监控运维方案，负责 Linux
-
URS云端远程管理平台
前端 React · TypeScript · Ant De
-
VMware vcenter升级
负责在实验环境测试vcenter和ESXi主机的版本升级验证
-
云计算资源池建设运维
负责企业现网安全运维与网络环境优化工作，参与网络安全策略梳理
-
云计算资源池建设运维
参与企业云计算资源池建设与日常运维工作，负责 VMware
-
基于SBOM的云平台供应链分析系统
该项目围绕云平台供应链安全展开，构建了一个面向实际业务场景的
1小时精推人才
需求方专属客服，免费梳理匹配
