大模型平台 / MLOps 中台
做什么: 统一模型接入、Prompt 管理、评测、监控、权限。
典型需求:
• 多模型路由(OpenAI、国产大模型、本地模型)
• Prompt 版本管理、A/B 测试
• 调用链追踪、成本统计
• RBAC、API 网关、限流熔断
工程侧核心需求(通用)
后端 Python(FastAPI/Flask)、Java/Go(高并发场景)
模型层 API 调用、本地部署(vLLM/Ollama)、微调(LoRA)
数据 向量库、Redis 缓存、PostgreSQL/MySQL
RAG LangChain/LlamaIndex、Embedding、Rerank
Agent LangGraph、AutoGen、MCP 工具协议
前端 Vue/React + 流式输出(SSE/WebSocket)
运维 Docker、K8s、Prometheus、日志追踪
安全 密钥管理、内容审核、Prompt 注入防护
评测 自动化评测集、人工标注、Bad Case 闭环