有过三段开发经验,Java和go
项目描述:独立设计并开发面向多厂商LLM调用的模型网关平台,解决多模型接入、APIKey管理、流式响应转发、额度管控、高并发长连接治理等痛点,作为统一代理层隔离业务方与底层大模型厂商。
技术栈:Golang、Gin、SSE、Context、多协程调度、API鉴权、密钥池策略、额度计费对账
核心职责 & 实现(STAR)
1. ✅ 鉴权体系:设计平台侧APIKey鉴权逻辑,区分用户维度与上游厂商APIKey两层账号体系,完成权限校验、身份绑定,隔离不同调用方额度;
2. ✅ 多厂商密钥池调度:实现上游厂商APIKey池化管理,可按额度余量做切换、故障兜底策略,处理多厂商模型统一接入;
3. ✅ SSE流式转发:实现LLM流式输出SSE透传转发,处理长连接生命周期管理,通过ctx控制请求取消,排查并解决goroutine泄漏、流式请求不可随意重试等工程坑;
4. ✅ 双层计费对账:搭建用户侧调用计量、token/积分统计、额度扣减逻辑,实现网关侧调用日志留存,为后期账单、限流、配额预警打下基础;
5. ✅ 高并发治理:针对LLM网关长连接多、单次请求耗时长的特点,区别于普通HTTP网关,做长连接生命周期管控、异常链路清理。
难点与收获:区分普通HTTP网关与LLM模型网关的差异;在流式场景下权衡重试策略,避免重复扣费、token重复统计;理解高并发长连接场景下协程、上下文的正确使用方式。