基本信息

案例ID:240269

技术顾问:滴滴飞猪 - 5年经验 - 思科

联系沟通

微信扫码,建群沟通

项目名称:AI API 聚合与交易中台

所属行业:电子商务 - B2C

->查看更多案例

案例介绍

面向 AI API 开放平台场景设计的聚合网关与交易中台,提供多模型厂商统一接入、用户 API Key 自助管理、QPS/RPM/TPM 限流、Token 用量统计、积分计费、订单支付、权益履约和运营后台配置能力。系统采用 Java 微服务 + VUE双前端架构,Java 后端基于 Spring Boot、openFeign、MyBatis-Plus、MySQL、Redis 实现核心交易与账务能力。

1.设计 Java 微服务中台模块,拆分 core-service、api-service、admin-service、service-rpc、service-biz、service-dao 等模块,通过 gRPC 暴露用户、商品、订单、支付、LLM 账务和运行时配置能力。
2.设计并实现 LLM 计费闭环,请求前通过 ReserveCredits 预冻结积分,请求结束后通过 SettleUsage 按真实 Token usage 结算,请求失败或无 usage 时通过 ReleaseReservation 释放冻结额度。
3.实现请求级幂等控制,以 requestId、reservationId 贯穿预冻结、结算、释放流程,并在数据库层增加唯一约束,避免网关重试或异步结算重复扣费。
4.实现用户 API Key 管理和 Key 级限流能力,支持单 Key 设置 max_qps、max_rpm、max_tpm,网关侧基于 Redis 计数器完成 QPS/RPM 限流,并根据真实 Token 消耗统计 TPM。

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服