一.基于Harness架构的院内ERP智能助手:2026年3月至今
开发语言及框架:python、langchain deepagents、fastApi、fastMcp、vue
沙箱环境:opensandbox
关系型数据库:mysql
非关系型数据库:redis
模型:deepseek-v4-pro
应用容器:docker
vibecoding工具:claudeCode
项目背景:
院内ERP系统庞大且老旧,业务复杂,操作繁琐。此外,通用AI Agent在执行代码时存在极大安全 隐患,且长对话容易导致上下文溢出。本项目采用业界前沿的Harness Engineering(驾驭工程) 范式, 旨在构建一个安全、稳定、能处理长周期任务的“智能助手”。
项目实现:
1.基于LangChain团队最新的DeepAgents框架,遵循“Agent = Model + Harness”理念,搭建了包含任务规划(write_todos)、虚拟文件系统和SubAgent委派的系统骨架。通过上下文隔离机制,将复杂任务拆解,让Agent具备了将自然语言自动拆解为多步执行计划的能力,并在指定的边界内稳定的完成任务。
2.企业级安全沙箱落地:基于阿里OpenSandbox重写了BaseSandbox协议。通过自定义沙箱,强制所有execute、read_file、write_file在Docker容器中运行。这使得Agent即使执行恶意脚本,也无法触碰生产环境密钥和内部网络,保证系统的安全性。
3.使用fastmcp构建mcp服务,把ERP系统的业务接口分模块封装为mcp工具。同时针对几十个图表工具使用Python闭包与字典路由设计合并函数,并配合渐进式披露策略,仅在Agent需要画图时才加载完整图表参数文档,极大优化了Token预算。
4.下文与记忆管理:利用复合沙箱实现三层路由文件系统(临时沙箱、redis持久化记忆、跨会话StoreBackend),结合“大型工具结果卸载”和“对话摘要”技术,支持无限长度的长周期任务执行;同时构建用户作用域记忆,实现跨会话偏好自动学习。
5.基于FastAPI构建SSE(Server-Sent Events)流式响应,实现Token级流式输出与中断恢复;设计双层人工介入(HITL)机制(数据补充层+最终审批层),确保订单创建、修改等高风险操作在AI规划与人工确认下闭环执行。
6.实现Agent懒加载(Lazy Loading)代理模式,将原本5-15秒的复杂初始化流程延迟至首次调用,保障了Web服务启动速度(模块导入耗时降至<1秒)。
7.子智能体采用动态构建,每一个子智能对应一个含有相关配置的yaml文件,包括名称、描述、工具、技能路径、系统提示词等。动态加载构建主管架构以实现子智能体的无限扩展。
二.院内多模态RAG知识库系统:2025年8月至2025年10月
模型:Qwen3-VL、Qwen3-vl-embedding、Qwen-text-embedding-v4、Deepseek-v3、Mineru
文件存储:minio
搜索工具:zhipuai
向量数据库:Milvus
关系型数据库:mysql
非关系型数据库:redis
Rag评估:ragas
推理引擎:vllm
开发语言及框架:python、langGraph
项目背景:
医院内部大量的医学文献急需构建知识库,文献多为带有图文的文件。
本项目构建一个能够统一理解和检索文本、图像以及图文对的智能系统。能将文本、图像及图文对输 入转换为统一的向量表示,以达到“Any2Any”跨模态检索(如文搜图、图搜文、图文搜图文等)。
项目实现:
1、单文本和图片嵌入,以及文本+图片对嵌入,从而实现Any2Any。基于多模态的Agent来控制RAG 最后的响应同时出现文本和图片,并保证多模态数据在一个向量空间实现搜索和索引。
2、通过管理端上传文件到minio服务器,监听服务接收minio的s3事件获取上传的文件。通过私有 化部署的Mineru解析文档。图片提取为文件路径形式,表格提取为Table标签形式。采用章节段落分 块 +SemanticChunker语义分块相结合的方式来解决表格或者内容跨页断裂问题。
3、使用Qwen3-vl-embedding多模态嵌入模型,对图片和文本进行密集向量化。Milvus创建密集向量 Dense和稀疏向量Sparse的索引。提高搜索广度和精度。实现"向量+关键词"混合检索。
4、实现上下文工程来提高响应速度,用Redis来保存短期上下文记忆和长期上下文记忆,并且每轮交