deepseek

猿急送>其他运维兼职程序员>😶>

案例列表

基本信息

案例ID：229788

技术顾问：😶 - 1年经验 - 1

联系沟通

微信扫码，建群沟通

项目名称：deepseek

所属行业：人工智能 - 其他

->查看更多案例

案例介绍

消防平台AI
岗位：
运维工程师
项目描述：
为使得平台更好的服务于客户决定私有化部署AI 添加至平台
项目部署
选购 InteI (R) Xeon (R) Gold 6148 CPU @ 2. 40GH z+62GB 内存+1TB 储存+4080 显卡 16GB+百兆带宽
文本模型采用 DeepSeekBb--q8_0模型，DeepSe ek 模型是国内开源免费的一款大模型，根据自身的硬件设备评估出8b的
体量完全可以满足公司需求,q80的量化更好的发挥出该模型原有的性能
嵌入模型选择由 BAAI开发的bge-large--zh-1.5,该模型专为中文场景设计,具有良好的中文语言理解和生成能力且
资源消耗较低，更适合资源有限的环境
前期使用独立部署后发现FasstGPT功能比较全面后采用FastGPT+OneAPI+ol laaa方式
模型管理采用ollama，它简化的模型私有化部署的过程，内置多种模型部署，有效监控显存使用量
连接工具使用OneAPI，用于模型与FastGPT连接使用
问答系统FastGPT，这款系统可以通过OneAPI连接到私有化模型且内置知识库功能，可以根据知识库内容进行返回文
本内容，支持docker 部署
项目成果：
完成AI模块的新增需求，用户可以通过平台的AI进行问答