AI API 聚合与交易中台

电子商务 B2C 案例ID:240269
滴滴飞猪
5 年经验· 思科
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

面向 AI API 开放平台场景设计的聚合网关与交易中台,提供多模型厂商统一接入、用户 API Key 自助管理、QPS/RPM/TPM 限流、Token 用量统计、积分计费、订单支付、权益履约和运营后台配置能力。系统采用 Java 微服务 + VUE双前端架构,Java 后端基于 Spring Boot、openFeign、MyBatis-Plus、MySQL、Redis 实现核心交易与账务能力。

1.设计 Java 微服务中台模块,拆分 core-service、api-service、admin-service、service-rpc、service-biz、service-dao 等模块,通过 gRPC 暴露用户、商品、订单、支付、LLM 账务和运行时配置能力。
2.设计并实现 LLM 计费闭环,请求前通过 ReserveCredits 预冻结积分,请求结束后通过 SettleUsage 按真实 Token usage 结算,请求失败或无 usage 时通过 ReleaseReservation 释放冻结额度。
3.实现请求级幂等控制,以 requestId、reservationId 贯穿预冻结、结算、释放流程,并在数据库层增加唯一约束,避免网关重试或异步结算重复扣费。
4.实现用户 API Key 管理和 Key 级限流能力,支持单 Key 设置 max_qps、max_rpm、max_tpm,网关侧基于 Redis 计数器完成 QPS/RPM 限流,并根据真实 Token 消耗统计 TPM。

AI API 聚合与交易中台

电子商务 · B2C 案例ID:240269
联系该工程师
微信扫码,建群沟通
作者: 滴滴飞猪 - 5年经验- 思科

案例介绍

面向 AI API 开放平台场景设计的聚合网关与交易中台,提供多模型厂商统一接入、用户 API Key 自助管理、QPS/RPM/TPM 限流、Token 用量统计、积分计费、订单支付、权益履约和运营后台配置能力。系统采用 Java 微服务 + VUE双前端架构,Java 后端基于 Spring Boot、openFeign、MyBatis-Plus、MySQL、Redis 实现核心交易与账务能力。

1.设计 Java 微服务中台模块,拆分 core-service、api-service、admin-service、service-rpc、service-biz、service-dao 等模块,通过 gRPC 暴露用户、商品、订单、支付、LLM 账务和运行时配置能力。
2.设计并实现 LLM 计费闭环,请求前通过 ReserveCredits 预冻结积分,请求结束后通过 SettleUsage 按真实 Token usage 结算,请求失败或无 usage 时通过 ReleaseReservation 释放冻结额度。
3.实现请求级幂等控制,以 requestId、reservationId 贯穿预冻结、结算、释放流程,并在数据库层增加唯一约束,避免网关重试或异步结算重复扣费。
4.实现用户 API Key 管理和 Key 级限流能力,支持单 Key 设置 max_qps、max_rpm、max_tpm,网关侧基于 Redis 计数器完成 QPS/RPM 限流,并根据真实 Token 消耗统计 TPM。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×