基于 new-api 构建了一套多模型 API 聚合网关平台,为团队和外部客户提供统一的大模型 API 接入服务。
平台核心功能包括多模型统一接入、流量治理、计费运营和监控运维四个模块。多模型接入方面,网关对接了 OpenAI、Claude、Gemini 及国内主流大模型 API,统一以 OpenAI 兼容协议对外暴露,客户端无需适配不同厂商 SDK。同时对网关源码进行了定制化修改,修复了 Anthropic 协议流式响应的已知 bug,新增了 Token 维度的用量统计,并实现了多模态请求的自动路由。
流量治理方面,使用 OpenResty 做反向代理,配置多 Key 负载均衡和自动故障转移,保障上游 API 不可用时业务连续性。针对流式 SSE 与非流式 JSON 混合场景,利用 Nginx 的 X-Accel-Buffering 机制实现自动区分,非流式响应启用 gzip 压缩,将出方向流量降低 56%。自研 Go 代理层实现了令牌桶限流和 SSE 流式请求分级超时控制。
计费运营方面,搭建了 Web 管理面板实现 API Key 统一管理、用量统计和额度控制,通过模型定价加令牌额度实现按次计费。另开发了营收统计面板和用量查询页,前者用 Python 直连 PostgreSQL 按客户维度统计用量与营收,后者前端用环形图展示用量配比,后端实现服务端分页和 Redis 缓存,查询接口 P99 响应延迟低于 50ms。
监控运维方面,部署了日志分析系统实时监控 API 请求分布和响应延迟,通过 iptables 按目标 IP 分类统计出站流量定位上游链路问题,OpenResty 层拦截已知扫描器保证安全。管理后台仅内网可达,公网只暴露 API 路径。
数据层从 MySQL 迁移至 PostgreSQL 解决 JSON 字段查询性能问题,配合 Redis 做缓存。备份方面采用 PostgreSQL 定时全量备份加 WAL 归档,配置文件和源码通过 Git 私有仓库管理,关键数据异地同步到对象存储。
我在项目中承担了从架构设计、源码开发、部署运维到运营管理的全栈角色,负责技术选型决策、核心代码编写、性能调优以及日常运维保障。