独立完成,基于langchain,langgraph,向量数据库weaviate,目前实现了以下功能: ● 文字嵌入向量数据库,可进行相似度检索 ● 图片嵌入向量数据库,可进行相似度检索 ● 智能问答,提高大语言模型回复的准确度 ● 智能体,主要包括:执行“生成查询或回复”操作,并判断是否需要调用检索工具;使用“工具条件”进行下一步的路由,如果“生成查询或回复”返回了工具调用列表,则调用检索工具来获取信息,否则,直接回复给用户;对检索到的文档内容进行相关性评分,然后进行下一步的路由,如果不相关,则使用“重写问题”功能重新编写问题,然后再次调用“生成查询或回复”操作,如果相关,则...
独立完成,复现GPT-2 (124M参数)+FP8混合精度预训练 ● 基于Transformer架构 ● 训练数据是HuggingFaceFW/fineweb-edu中的sample-10BT ● GPU租用的是智星云,GeForce RTX 4090 (24G),系统Ubuntu,单机4卡 ● 相关版本如下:CUDA Version: 12.4, Driver Version: 550.127.05, torch 2.5.0, triton 3.1.0...
独立完成,模型微调。 ● 原模型:qwen2.5-3b-instruct ● 数据集:meow_reasoning_100k ● 设备:GeForce RTX 4090 (24G),系统Ubuntu,单机4卡...