大模型平台 / MLOps 中台

人工智能-其他 致远

大模型平台 / MLOps 中台 做什么： 统一模型接入、Prompt 管理、评测、监控、权限。 典型需求： • 多模型路由（OpenAI、国产大模型、本地模型） • Prompt 版本管理、A/B 测试 • 调用链追踪、成本统计 • RBAC、API 网关、限流熔断 工程侧核心需求（通用） 后端 Python（FastAPI/Flask）、Java/Go（高并发场景） 模型层 API 调用、本地部署（vLLM/Ollama）、微调（LoRA） 数据 向量库、Redis 缓存、PostgreSQL/MySQL RAG LangChain/LlamaIndex、Embed...