一、AI 智能交互中台 — 灵芯平台
项目概述:面向教育硬件设备(AI 耳机、学习机等)的 AI 能力中台,为设备提供实时语音对话、LLM 智能问答、Agent 智能体、RAG 知识库等核心 AI 能力。基于 Spring Boot + WebFlux 构建,采用 COLA 分层架构,通过WebSocket 实现全双工语音通信,SSE 实现 LLM 流式输出,服务多租户教育硬件厂商。
1. LLM 流式推理接口与多租户模型路由
负责文生文(Text-to-Text)流式接口的架构设计与开发,支撑多租户场景下的 LLM 能力输出:
流式响应:基于 Spring WebClient + Reactor Netty 实现与 DashScope API(OpenAI 兼容模式)的非阻塞
SSE 流式通信,使用 Flux 处理流式 token 输出,支持思考模式(Thinking)等高级特性
多租户模型路由:设计三级 Mapping 路由机制(租户 ID → 模型系列 → 模型版本 → AppKey),通过Nacos 动态配置实现不同租户使用不同模型版本与 API 密钥,支持分钟级在线切换
计量计费三阶段:设计"预扣 → 执行 → 确认"三阶段资源管控方案——调用前冻结配额防止超卖,从响应中提取实际 Token 用量后按实扣费,失败则自动释放冻结资源
并发限流:基于 Redis + ConcurrentHashSet 实现按场景(LLM/CHAT/TTS/ASR)的分级并发控制,结合TTL 心跳刷新保障分布式环境下的状态一致
2. Agent 智能体与 RAG 知识库系统
参与 Agent 管理系统与 RAG 知识库的开发,支撑智能体的配置化运营:
Agent 执行引擎:对接百炼 Agent SDK 与自研 D-Engine 流程编排引擎,支持 Agent 的流式执行、请求取消、思考链路跟踪等能力,通过 DashScope Application.streamCall 实现增量输出
RAG 检索管线:实现知识库文档上传、切片管理、向量化存储(DashVector)、相似度检索(topK +threshold)的完整链路,支撑 Agent 在对话中引用知识库内容
控制台后台:开发 Agent CRUD、角色模板管理、LLM 配置、语音模型配置、知识库绑定等控制台功能,支持多租户(企业/用户两级)数据隔离
3. 平台稳定性与配置化运营体系
构建平台级稳定性保障与运营配置能力:
Nacos 配置中心:将模型密钥、功能开关、限流阈值、灰度规则等全部抽离为动态配置项,实现不发版变更系统行为
灰度发布:设计按租户、按设备维度的灰度策略,通过 FeatureToggle + Gray 配置实现新功能的渐进式放量
全链路追踪:基于 ARMS APM + SLS + MDC RequestId 实现请求全链路可观测,关键指标(首包延迟、端到端延迟)实时采集
降级兜底:对 TTS 服务实现 Throttling 关键词触发的自动降级(音色降级 + 供应商切换),配置化控制降级条件与冷却时间
二、AI 教育产品工程化落地(此前项目)
1. 主导 3 款大模型教育产品从 0 到 1 交付,实现商业化运营公司战略布局 AI 教育赛道,需基于通义千问大模型构建 AI 口语老师、AI 语文老师、AI 教材式英语等产品矩阵。作为工程侧核心负责人,独立承担 AI 口语老师服务端的整体架构设计与核心模块开发:
对话引擎:设计多轮对话会话管理架构,实现对话上下文的高效维护与生命周期控制,封装通义千问 API
统一调用层,屏蔽模型侧差异,为上层业务提供稳定的对话能力接口
评测链路:打通语音评测引擎对接链路,完成评测结果解析、多维度评分计算与学情数据结构化落库
生态集成:完成教育智能体开放平台能力集成,主导三方(OXM 顽童)接口对接,推动产品生态扩展
累计交付 20 余项核心功能,推动 3 款 AI 产品在镇元平台正式发布并对外商业化运营,从 0 到 1 支撑了公司 AI产品线的战略落地。
2. 设计模型调用成本优化方案,降低 API 消耗与响应延迟针对 AI 口语老师对话场景中大量结构化教学环节(课程引导语、标准化评价反馈等)每次都触发模型实时推理的问题,设计并实现工程侧优化方案:
建立基于"场景 ID +