AI对话机器人项目

人工智能 机器人 案例ID:230185
黯殇Rock
14 年经验· 平安医疗健康管理股份有限公司
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

项目描述:
浏览器通过采集用户音视频,用户和数字人进行对话,用户回答数字人问题可通过说话,或摇头点头方式。界面上展示虚拟动画小人,模拟用户和动画小人的聊天的场景。采集用户视频用于 opencv 动作识别,采集音频进行 asr 转文字后,用于大模型 prompt 输入,大模型输出文字,以及将文字进行 tts 合成语音,在界面上播放和显示,并驱动动画小人回应相关动作,模拟用户和人的真实聊天场景

责任描述:
1. 使用 vite 快速搭建 vue3 项目开发环境
2. 采集音频和视频,并对音频进行频率过滤,音频通过 WebSocket 推送后端,视频通过 WebRTC 推流给后端进行动作识别分析
3. 使用 Threejs 加载 fbx 文件骨骼动画,及贴图背景,通过后端状态驱动虚拟人物动画,实现交互
4. 涉及技术栈:vue3+vueRouter+axios+websocket+threejs

AI对话机器人项目

人工智能 · 机器人 案例ID:230185
联系该工程师
微信扫码,建群沟通
作者: 黯殇Rock - 14年经验- 平安医疗健康管理股份有限公司

案例介绍

项目描述:
浏览器通过采集用户音视频,用户和数字人进行对话,用户回答数字人问题可通过说话,或摇头点头方式。界面上展示虚拟动画小人,模拟用户和动画小人的聊天的场景。采集用户视频用于 opencv 动作识别,采集音频进行 asr 转文字后,用于大模型 prompt 输入,大模型输出文字,以及将文字进行 tts 合成语音,在界面上播放和显示,并驱动动画小人回应相关动作,模拟用户和人的真实聊天场景

责任描述:
1. 使用 vite 快速搭建 vue3 项目开发环境
2. 采集音频和视频,并对音频进行频率过滤,音频通过 WebSocket 推送后端,视频通过 WebRTC 推流给后端进行动作识别分析
3. 使用 Threejs 加载 fbx 文件骨骼动画,及贴图背景,通过后端状态驱动虚拟人物动画,实现交互
4. 涉及技术栈:vue3+vueRouter+axios+websocket+threejs

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例 联系该工程师
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×