ai
案例介绍
岗位：
运维工程师
项目描述：
为使得平台更好的服务于客户决定私有化部署AI 添加至平台
项目部署
选购 InteI (R) Xeon (R) Gold 6148 CPU @ 2. 40GH z+62GB 内存+1TB 储存+4080 显卡 16GB+百兆带宽
文本模型采用 DeepSeekBb--q8_0模型，DeepSe ek 模型是国内开源免费的一款大模型，根据自身的硬件设备评估出8b的
体量完全可以满足公司需求,q80的量化更好的发挥出该模型原有的性能
嵌入模型选择由 BAAI开发的bge-large--zh-1.5,该模型专为中文场景设计,具有良好的中文语言理解和生成能力且
资源消耗较低，更适合资源有限的环境
前期使用独立部署后发现FasstGPT功能比较全面后采用FastGPT+OneAPI+ol laaa方式
模型管理采用ollama，它简化的模型私有化部署的过程，内置多种模型部署，有效监控显存使用量
连接工具使用OneAPI，用于模型与FastGPT连接使用
问答系统FastGPT，这款系统可以通过OneAPI连接到私有化模型且内置知识库功能，可以根据知识库内容进行返回文
本内容，支持docker 部署
项目成果：
完成AI模块的新增需求，用户可以通过平台的AI进行问答
ai
案例介绍
AI
岗位：
运维工程师
项目描述：
为使得平台更好的服务于客户决定私有化部署AI 添加至平台
项目部署
选购 InteI (R) Xeon (R) Gold 6148 CPU @ 2. 40GH z+62GB 内存+1TB 储存+4080 显卡 16GB+百兆带宽
文本模型采用 DeepSeekBb--q8_0模型，DeepSe ek 模型是国内开源免费的一款大模型，根据自身的硬件设备评估出8b的
体量完全可以满足公司需求,q80的量化更好的发挥出该模型原有的性能
嵌入模型选择由 BAAI开发的bge-large--zh-1.5,该模型专为中文场景设计,具有良好的中文语言理解和生成能力且
资源消耗较低，更适合资源有限的环境
前期使用独立部署后发现FasstGPT功能比较全面后采用FastGPT+OneAPI+ol laaa方式
模型管理采用ollama，它简化的模型私有化部署的过程，内置多种模型部署，有效监控显存使用量
连接工具使用OneAPI，用于模型与FastGPT连接使用
问答系统FastGPT，这款系统可以通过OneAPI连接到私有化模型且内置知识库功能，可以根据知识库内容进行返回文
本内容，支持docker 部署
项目成果：
完成AI模块的新增需求，用户可以通过平台的AI进行问答
案例图片
相似案例推荐
-
口腔展商贸配对
项目主要实现展会的展商通过不同的属性匹配不同的买家，能够在网
-
三牛管家小程序
这个小程序用于招聘和培训。甲方可以发布招聘信息，用户可以发布
-
某市仲裁委员会在线争议多元化解平台
负责生产系统的规划、建设和维护；定期对系统进行优化分析，及时
-
某市劳动争议调解系统
负责生产系统的规划、建设和维护；定期对系统进行优化分析，及时
-
徐州就业
（1）功能模块 求职招聘： 岗位搜索（关键词/分类/地图
-
RTC数字时钟与LED流水显示系统开发
利用S800 板完成一个数字时钟功能。能够实现如下功能: 1
1小时精推人才
需求方专属客服，免费梳理匹配
