AI网关

**AI 模型服务网关**
项目简介：面向政企 AI‑Agent 平台的大模型流量治理网关，作为各类大模型、MCP 工具调用统一入口，解决多模型接入混乱、Prompt 注入风险、缺少调用审计、Token 成本不可控等问题，对接公有云大模型与 Ollama/vLLM 本地私有化模型服务，适配数据安全合规要求CSDN博...。
我的角色：核心开发，参与架构设计、后端研发。
技术栈：Spring Boot 2.7、Spring Cloud Gateway、Redis、Kafka、PostgreSQL、Kubernetes、Docker
核心成果：

- 实现多模型协议归一化，统一 OpenAI 兼容接口，完成公有云模型与本地私有化模型路由、负载均衡、故障 Fallback 降级，模型故障自动切换保障 Agent 业务连续性CSDN博...。
- 实现租户 / API‑Key 鉴权、Token 粒度限流、调用配额管控，完成 Prompt 输入输出内容安全检测，拦截 Prompt 注入、敏感数据外发风险，贴合政企数据安全规范阿里云。
- 对接自研 MCP Server 工具调用链路，对 Agent 工具调用做权限拦截、全链路请求审计日志，记录 Token 消耗、调用耗时，输出计量统计，实现 AI 调用行为可追溯可审计阿里云。
- 支持 SSE 流式转发，适配 Agent 流式对话场景，部署于 K8s 容器环境，支撑内部多套 AI 安全产品的模型调用流量。