Kilsme💭💡🎈

Java
杭州光见科技有限公司 · 2年经验
Kilsme💭💡🎈
日薪: ¥500/8h
地点: 北京
时间: 可工作日远程
ID:442624 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Go LLM Java 高并发
擅长从0到1搭建后端服务,近期核心实践聚焦在大模型模型网关(Gin+Go)方向:覆盖 APIKey 鉴权、多厂商密钥池调度、SSE 流式转发、额度计费对账、长连接并发治理,处理 goroutine 泄漏、ctx 取消、流式请求重试、多厂商LLM接入等真实工程难题;
同时具备 Java 后端开发基础,可承接传统业务后端、接口开发、系统改造类需求。

核心能力

1. Go/Gin:网关服务、流式通信(SSE)、高并发接口、API鉴权与权限体系
​
2. Java:业务后端、接口、服务开发
​
3. 系统设计:网关分层架构、多厂商资源调度、额度管控、故障重试策略
​
4. 问题排查:擅长踩坑复盘,落地可运维、可对账的后端方案

有过三段开发经验,Java和go
项目描述:独立设计并开发面向多厂商LLM调用的模型网关平台,解决多模型接入、APIKey管理、流式响应转发、额度管控、高并发长连接治理等痛点,作为统一代理层隔离业务方与底层大模型厂商。
技术栈:Golang、Gin、SSE、Context、多协程调度、API鉴权、密钥池策略、额度计费对账
核心职责 & 实现(STAR)

1. ✅ 鉴权体系:设计平台侧APIKey鉴权逻辑,区分用户维度与上游厂商APIKey两层账号体系,完成权限校验、身份绑定,隔离不同调用方额度;
​
2. ✅ 多厂商密钥池调度:实现上游厂商APIKey池化管理,可按额度余量做切换、故障兜底策略,处理多厂商模型统一接入;
​
3. ✅ SSE流式转发:实现LLM流式输出SSE透传转发,处理长连接生命周期管理,通过ctx控制请求取消,排查并解决goroutine泄漏、流式请求不可随意重试等工程坑;
​
4. ✅ 双层计费对账:搭建用户侧调用计量、token/积分统计、额度扣减逻辑,实现网关侧调用日志留存,为后期账单、限流、配额预警打下基础;
​
5. ✅ 高并发治理:针对LLM网关长连接多、单次请求耗时长的特点,区别于普通HTTP网关,做长连接生命周期管控、异常链路清理。
难点与收获:区分普通HTTP网关与LLM模型网关的差异;在流式场景下权衡重试策略,避免重复扣费、token重复统计;理解高并发长连接场景下协程、上下文的正确使用方式。
Kilsme💭💡🎈 ID:442624 复制

Kilsme💭💡🎈

Java · 2年经验 · 杭州光见科技有限公司
城市北京 日薪500元/8h 时间 可工作日远程
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Go LLM Java 高并发
擅长从0到1搭建后端服务,近期核心实践聚焦在大模型模型网关(Gin+Go)方向:覆盖 APIKey 鉴权、多厂商密钥池调度、SSE 流式转发、额度计费对账、长连接并发治理,处理 goroutine 泄漏、ctx 取消、流式请求重试、多厂商LLM接入等真实工程难题;
同时具备 Java 后端开发基础,可承接传统业务后端、接口开发、系统改造类需求。

核心能力

1. Go/Gin:网关服务、流式通信(SSE)、高并发接口、API鉴权与权限体系
​
2. Java:业务后端、接口、服务开发
​
3. 系统设计:网关分层架构、多厂商资源调度、额度管控、故障重试策略
​
4. 问题排查:擅长踩坑复盘,落地可运维、可对账的后端方案

项目经验

有过三段开发经验,Java和go
项目描述:独立设计并开发面向多厂商LLM调用的模型网关平台,解决多模型接入、APIKey管理、流式响应转发、额度管控、高并发长连接治理等痛点,作为统一代理层隔离业务方与底层大模型厂商。
技术栈:Golang、Gin、SSE、Context、多协程调度、API鉴权、密钥池策略、额度计费对账
核心职责 & 实现(STAR)

1. ✅ 鉴权体系:设计平台侧APIKey鉴权逻辑,区分用户维度与上游厂商APIKey两层账号体系,完成权限校验、身份绑定,隔离不同调用方额度;
​
2. ✅ 多厂商密钥池调度:实现上游厂商APIKey池化管理,可按额度余量做切换、故障兜底策略,处理多厂商模型统一接入;
​
3. ✅ SSE流式转发:实现LLM流式输出SSE透传转发,处理长连接生命周期管理,通过ctx控制请求取消,排查并解决goroutine泄漏、流式请求不可随意重试等工程坑;
​
4. ✅ 双层计费对账:搭建用户侧调用计量、token/积分统计、额度扣减逻辑,实现网关侧调用日志留存,为后期账单、限流、配额预警打下基础;
​
5. ✅ 高并发治理:针对LLM网关长连接多、单次请求耗时长的特点,区别于普通HTTP网关,做长连接生命周期管控、异常链路清理。
难点与收获:区分普通HTTP网关与LLM模型网关的差异;在流式场景下权衡重试策略,避免重复扣费、token重复统计;理解高并发长连接场景下协程、上下文的正确使用方式。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏