面向 AI API 开放平台场景设计的聚合网关与交易中台,提供多模型厂商统一接入、用户 API Key 自助管理、QPS/RPM/TPM 限流、Token 用量统计、积分计费、订单支付、权益履约和运营后台配置能力。系统采用 Java 微服务 + VUE双前端架构,Java 后端基于 Spring Boot、openFeign、MyBatis-Plus、MySQL、Redis 实现核心交易与账务能力。
1.设计 Java 微服务中台模块,拆分 core-service、api-service、admin-service、service-rpc、service-biz、service-dao 等模块,通过 gRPC 暴露用户、商品、订单、支付、LLM 账务和运行时配置能力。
2.设计并实现 LLM 计费闭环,请求前通过 ReserveCredits 预冻结积分,请求结束后通过 SettleUsage 按真实 Token usage 结算,请求失败或无 usage 时通过 ReleaseReservation 释放冻结额度。
3.实现请求级幂等控制,以 requestId、reservationId 贯穿预冻结、结算、释放流程,并在数据库层增加唯一约束,避免网关重试或异步结算重复扣费。
4.实现用户 API Key 管理和 Key 级限流能力,支持单 Key 设置 max_qps、max_rpm、max_tpm,网关侧基于 Redis 计数器完成 QPS/RPM 限流,并根据真实 Token 消耗统计 TPM。