企业私有化大模型与知识库平台建设

企业服务 数据服务 案例ID:252661
JourneyFar
10 年经验· 长鑫科技集团股份有限公司
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

• 背景:内部资料分散在个人电脑与共享盘,新人上手依赖口头传授,培训内容与业务规则缺少统一出口
• 方案设计与选型:完成基座模型评估与选型,测算百人规模并发下的输出吞吐需求,确定双卡张量并行的部署架构;完成 GPU 合规性、功耗与散热适配评估,明确硬件采购方案
• 平台搭建:搭建推理服务与知识库服务,接入向量模型实现语义检索,完成局域网访问配置与自建模型接入
• 调优:针对推理参数进行调优,处理量化精度与并发吞吐之间的取舍,优化缓存命中率与并发限制参数
• 应用落地:将培训资料、业务规则、常见问题整理入知识库,支持模糊检索与智能问答,减少重复性咨询

企业私有化大模型与知识库平台建设

企业服务 · 数据服务 案例ID:252661
联系该工程师
微信扫码,建群沟通
作者: JourneyFar - 10年经验- 长鑫科技集团股份有限公司

案例介绍

• 背景:内部资料分散在个人电脑与共享盘,新人上手依赖口头传授,培训内容与业务规则缺少统一出口
• 方案设计与选型:完成基座模型评估与选型,测算百人规模并发下的输出吞吐需求,确定双卡张量并行的部署架构;完成 GPU 合规性、功耗与散热适配评估,明确硬件采购方案
• 平台搭建:搭建推理服务与知识库服务,接入向量模型实现语义检索,完成局域网访问配置与自建模型接入
• 调优:针对推理参数进行调优,处理量化精度与并发吞吐之间的取舍,优化缓存命中率与并发限制参数
• 应用落地:将培训资料、业务规则、常见问题整理入知识库,支持模糊检索与智能问答,减少重复性咨询

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×