· 该项目采用多种技术栈共同完成。在文件基本管理中,采用GIN和Go-kit构建一款微服务的项目,同时配合Minio进行对象存储。该助手不仅支持文件的基本管理,还具备高效的检索能力,并且能够处理多模态数据(文本、语音、图像),提供智能问答和对话存储功能。同时在该系统下通过对历史的提问和会话总结可以结合KNN协同过滤进行推荐相关文章。
· 项目特点
· 高效检索:在文件检索方面采用ElasticSearch结合Milvus数据构建混合检索模式。ElasticSearch用于进行复杂查询和过滤,而Milvus更专注与ANN的密集向量搜索!
· 多模态处理:在Agent构建方面通过LangGraph搭配FastAPI构建可用于处理多模态的智能助手。Agent助手支持文本、图像和音频进行处理,同时若在文件本地检索方面未找到相关系数高的文档时也能通过联网查询进行简略回答! 同时也支持会话记忆存储(采用MongoDB作为会话存储)。
· 模型微调:对原有文本生成模型 QWEN2.5 进行了微调,结合 Transformer 架构和 LoRA(技术,提升了模型在特定任务上的性能。通过精心设计的训练策略和超参数优化,模型在文本生成任务上的准确率有显著提升,尽管提升幅度“一般”,但相比未微调的模型特别是在任务相关性和响应质量上有较为不错的反馈。