项目背景: 为满足企业内部AI应用的数据安全与私有化部署需求,建设基于GPU服务器和Kubernetes的AI大模型服务平台,实现模型推理、统一API接入、智能体应用部署和运行监控。 负责内容: 1. 负责GPU服务器环境调研与部署方案设计,涉及NVIDIA H200、RTX PRO 6000等GPU设备。 2. 基于Kubernetes部署Dify、FastAPI、自研Agent等12项服务,实现AI应用容器化运行与统一管理。 3. 使用vLLM部署GLM系列大模型,配置FP8量化、TP多卡并行及模型推理参数,并进行API接口测试和基础性能压测。 4. 通过LiteL
项目背景: 针对企业多个私有化部署项目中服务器环境不同、应用升级依赖人工执行、部署周期长、操作不统一等问题,建设运维可视化管理平台,实现服务器与应用统一管理及自动化交付。 负责内容: 1. 参与设计并开发基于Python Flask和Vue的运维管理平台,对接内部项目部署流程。 2. 使用Ansible Playbook封装服务器环境初始化、应用部署、服务启停及日常运维操作。 3. 实现项目服务器、应用版本、部署配置参数的统一管理。 4. 支持应用一键部署、升级、回滚、启停及部署日志实时查看。 5. 为不同项目配置操作权限,记录关键操作日志,提高部署过程的可追溯性。
项目背景: 为满足企业内部AI应用的数据安全与私有化部署需求,建设基于GPU服务器和Kubernetes的AI大模型服务平台,实现模型推理、统一API接入、智能体应用部署和运行监控。 负责内容: 1. 负责GPU服务器环境调研与部署方案设计,涉及NVIDIA H200、RTX PRO 6000等GPU设备。 2. 基于Kubernetes部署Dify、FastAPI、自研Agent等12项服务,实现AI应用容器化运行与统一管理。 3. 使用vLLM部署GLM系列大模型,配置FP8量化、TP多卡并行及模型推理参数,并进行API接口测试和基础性能压测。 4. 通过LiteL...
项目背景: 针对企业多个私有化部署项目中服务器环境不同、应用升级依赖人工执行、部署周期长、操作不统一等问题,建设运维可视化管理平台,实现服务器与应用统一管理及自动化交付。 负责内容: 1. 参与设计并开发基于Python Flask和Vue的运维管理平台,对接内部项目部署流程。 2. 使用Ansible Playbook封装服务器环境初始化、应用部署、服务启停及日常运维操作。 3. 实现项目服务器、应用版本、部署配置参数的统一管理。 4. 支持应用一键部署、升级、回滚、启停及部署日志实时查看。 5. 为不同项目配置操作权限,记录关键操作日志,提高部署过程的可追溯性。 ...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人