AI+RAG私有知识库问答系统
SpringBoot LLM pg-vector RabbitMQ RPC VUE
项目描述:
一个基于大模型和RAG的知识库问答系统,允许用户通过上传文档的形式构建私人的知识库,然后系统将知识
库进行向量化存储到psql数据库,用户发起聊天后将问题同样向量化进行查询,返回碰撞的知识调用大模型根
据定制的内容进行回答。能有效解决大模型的幻觉、训练时效性以及潜在的数据安全等问题。
工作内容:
异步消费RabitMQ队列中的任务,对上传的文档进行处理,根据文档格式采用工厂模式实例化对应的文
档处理类,然后调用文档处理的方法进行处理,将文章内容分割成标题加正文的多个段。
使用RPC远程调用本地部署的text2vec-base-chinese嵌入模型对分割后的中文内容进行语义化向量处
理,然后将处理后的向量进行存储。
将用户的问题同样进行向量化处理,然后根据用户的配置定制prompt调用本地或远程部署的大模型对问
题和引用内容进行处理。
基于fetch-event-source + sse流式传输实现流式对话,减少长文本用户等待时间。