AI 知识伴侣 / 知识点视频平台
角色:全栈 AI 架构师 / 技术负责人
技术栈:Go 1.26 / Gin / SQLite / SSE / go:embed、Python / FastAPI(原型与推理侧车)、Nuxt 4 / Vue 3 / Pinia / TypeScript / Element Plus、OpenAI 兼容 LLM / JSON Schema、sherpa-onnx / MeloTTS / BGE Embedding、Nginx / Docker / systemd、Playwright、Flutter。
核心职责与架构亮点
1. AI 生产系统架构:设计“Harness 确定性编排 + Agent 受控节点 + Gates 确定性闸门”三层架构;用 DAG 节点表统一 route / cache / extract / copygate / critic / render / qc / publish,把重试、降级、预算、进度事件从 prompt 移到代码,模型只负责结构化内容,不参与流程决策。
2. 可控生成链路:采用 single-shot、温度 0、JSON Schema 严格解码;抽取结果检查点落盘、幂等指纹缓存、闸门自动修复与隔离转人工;实现作业持久化、启动恢复、Watchdog、SSE 心跳与断线重放,长链路失败可审计、可恢复。
3. 成本与容量工程:以“预生成 + 三级命中 + 静态分发”承担主要流量;按 1 万学生测算,峰值未命中仅 0.83 QPS、2000 路播放并发、约 97.8 Mbps 出口;放弃 MP4 路线,避免约 667 GPU 小时/批的渲染开销,生成成本控制在 1 元/天量级。
4. 单二进制交付与推理侧车:Go 静态二进制约 26MB,使用 go:embed 内嵌提示词、skills、词表、许可清单与 HTML 外壳,外网服务器零 Go/Python 运行时依赖;将 TTS、Embedding 推理拆为 Python 侧车,通过 OpenAI 兼容协议解耦,侧车故障只降级,不影响已生成内容播放。
5. 检索与知识准入:语义嵌入为主、词法检索降级兜底,检索延迟 10–24ms;18 条学生口吻查询 top3 命中率由 22% 提升至 78%;规则粗筛 + 小模型语义预检拦截闲聊、指令注入与无关内容,失败关闭并保留“去 AI 对话”出口。
6. 全栈与多端:Nuxt SSR 首屏、服务端/浏览器双侧 API 地址解析、Pinia 四态状态机、SSE 进度与断线重连、iframe 复用单文件播放器;PC 端已实现,小程序已实现;规划 Flutter 统一 Android/iOS,复用后端 API 与播放内核,避免三端重复实现。