项目描述:
浏览器通过采集用户音视频,用户和数字人进行对话,用户回答数字人问题可通过说话,或摇头点头方式。界面上展示虚拟动画小人,模拟用户和动画小人的聊天的场景。采集用户视频用于 opencv 动作识别,采集音频进行 asr 转文字后,用于大模型 prompt 输入,大模型输出文字,以及将文字进行 tts 合成语音,在界面上播放和显示,并驱动动画小人回应相关动作,模拟用户和人的真实聊天场景
责任描述:
1. 使用 vite 快速搭建 vue3 项目开发环境
2. 采集音频和视频,并对音频进行频率过滤,音频通过 WebSocket 推送后端,视频通过 WebRTC 推流给后端进行动作识别分析
3. 使用 Threejs 加载 fbx 文件骨骼动画,及贴图背景,通过后端状态驱动虚拟人物动画,实现交互
4. 涉及技术栈:vue3+vueRouter+axios+websocket+threejs