本项目为面向企业内部的多任务智能办公 Agent 系统,基于 Python、LangChain、LlamaIndex 开发,集成 RAG 私有知识库与工具调用能力。完成开源大模型微调与推理优化,可自主完成文档解析、资料检索、数据提取、报表自动生成等串联任务。系统支持自定义任务流程,将大量重复性文档整理工作自动化,优化模型推理效率,降低业务人员资料查询与文书处理成本,实现企业内部私有化 AI 办公落地。
本项目基于生产级 LLMOps 实践搭建,完成大模型推理服务在云服务器上的容器化部署与全链路运维监控体系。采用 vLLM 作为推理引擎,通过 Docker 打包镜像,基于 Kubernetes 实现服务编排、弹性扩缩与滚动发布;前端接入 Nginx 做负载均衡与流量分发,搭配 Redis 缓存高频请求降低 GPU 负载。 负责云服务器环境配置、K8s 集群搭建、模型服务容器化部署、Helm 应用发布;基于 Prometheus+Grafana 搭建监控大盘,覆盖 TTFT 首 token 延迟、P95 端到端延迟、Token 吞吐量、GPU 资源、错误率等核心指标,配置分级告警策略与故障自动
本项目为面向企业内部的多任务智能办公 Agent 系统,基于 Python、LangChain、LlamaIndex 开发,集成 RAG 私有知识库与工具调用能力。完成开源大模型微调与推理优化,可自主完成文档解析、资料检索、数据提取、报表自动生成等串联任务。系统支持自定义任务流程,将大量重复性文档整理工作自动化,优化模型推理效率,降低业务人员资料查询与文书处理成本,实现企业内部私有化 AI 办公落地。...
本项目基于生产级 LLMOps 实践搭建,完成大模型推理服务在云服务器上的容器化部署与全链路运维监控体系。采用 vLLM 作为推理引擎,通过 Docker 打包镜像,基于 Kubernetes 实现服务编排、弹性扩缩与滚动发布;前端接入 Nginx 做负载均衡与流量分发,搭配 Redis 缓存高频请求降低 GPU 负载。 负责云服务器环境配置、K8s 集群搭建、模型服务容器化部署、Helm 应用发布;基于 Prometheus+Grafana 搭建监控大盘,覆盖 TTFT 首 token 延迟、P95 端到端延迟、Token 吞吐量、GPU 资源、错误率等核心指标,配置分级告警策略与故障自动...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人