本地大模型应用

人工智能 其他 案例ID:251156
Zimri
8 年经验· 四川亚创信息技术有限公司
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

此项目为Qwen-ASR0.6B/1.7B(GPU运行)、Sherpa-ONNX-Realtime(CPU)的落地应用,主要场景是支援涉密场景下会议的实时离线语音识别,以及后续工作流的API能力将识别结果参与到生成式文本大模型进行语义、语境、违规等场景的分析。

GPU版本Qwen-ASR 运行架构为vLLM,基于Docker GPU运行 此部分为开源项目只需一定的优化参数即可运行。
该项目核心开发组件为Getaway,使用Python FastAPI,主要实现鉴权、 VAD(语音活动检测)、API实现,性能调优等。

本地大模型应用

人工智能 · 其他 案例ID:251156
联系该工程师
微信扫码,建群沟通
作者: Zimri - 8年经验- 四川亚创信息技术有限公司

案例介绍

此项目为Qwen-ASR0.6B/1.7B(GPU运行)、Sherpa-ONNX-Realtime(CPU)的落地应用,主要场景是支援涉密场景下会议的实时离线语音识别,以及后续工作流的API能力将识别结果参与到生成式文本大模型进行语义、语境、违规等场景的分析。

GPU版本Qwen-ASR 运行架构为vLLM,基于Docker GPU运行 此部分为开源项目只需一定的优化参数即可运行。
该项目核心开发组件为Getaway,使用Python FastAPI,主要实现鉴权、 VAD(语音活动检测)、API实现,性能调优等。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×