企业AI大模型私有化部署平台

项目背景：

为满足企业内部AI应用的数据安全与私有化部署需求，建设基于GPU服务器和Kubernetes的AI大模型服务平台，实现模型推理、统一API接入、智能体应用部署和运行监控。

负责内容：

1. 负责GPU服务器环境调研与部署方案设计，涉及NVIDIA H200、RTX PRO 6000等GPU设备。
2. 基于Kubernetes部署Dify、FastAPI、自研Agent等12项服务，实现AI应用容器化运行与统一管理。
3. 使用vLLM部署GLM系列大模型，配置FP8量化、TP多卡并行及模型推理参数，并进行API接口测试和基础性能压测。
4. 通过LiteLLM统一管理大模型API接口，实现模型服务统一接入。
5. 使用Prometheus、Grafana及DCGM监控服务器、容器、GPU显存与运行状态，配置基础告警。
6. 负责部署调试、故障排查、运行维护及技术文档交付。

项目成果：

成功完成企业AI平台私有化部署与交付，支持多项内部AI应用运行，实现GPU资源及模型服务统一监控管理，降低人工部署与日常维护成本。

核心技术： Linux、Docker、Kubernetes、NVIDIA GPU、vLLM、LiteLLM、Dify、Prometheus、Grafana。