大模型平台 / MLOps 中台

基本信息

案例ID:244011

技术顾问:致远 - 6年经验 - 合肥一家软件公司

联系沟通

微信扫码,建群沟通

项目名称:大模型平台 / MLOps 中台

所属行业:人工智能 - 其他

->查看更多案例

案例介绍

大模型平台 / MLOps 中台
做什么: 统一模型接入、Prompt 管理、评测、监控、权限。
典型需求:
• 多模型路由(OpenAI、国产大模型、本地模型)
• Prompt 版本管理、A/B 测试
• 调用链追踪、成本统计
• RBAC、API 网关、限流熔断
工程侧核心需求(通用)
后端 Python(FastAPI/Flask)、Java/Go(高并发场景)
模型层 API 调用、本地部署(vLLM/Ollama)、微调(LoRA)
数据 向量库、Redis 缓存、PostgreSQL/MySQL
RAG LangChain/LlamaIndex、Embedding、Rerank
Agent LangGraph、AutoGen、MCP 工具协议
前端 Vue/React + 流式输出(SSE/WebSocket)
运维 Docker、K8s、Prometheus、日志追踪
安全 密钥管理、内容审核、Prompt 注入防护
评测 自动化评测集、人工标注、Bad Case 闭环

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服