项目描述:
浏览器通过采集用户音视频,用户和数字人进行对话,用户回答数字人问题可通过说话,或摇头点头方式。界面上展示虚拟动画小人,模拟用户和动画小人的聊天的场景。采集用户视频用于 opencv 动作识别,采集音频进行 asr 转文字后,用于大模型 prompt 输入,大模型输出文字,以及将文字进行 tts 合成语音,在界面上播放和显示,并驱动动画小人回应相关动作,模拟用户和人的真实聊天场景
责任描述:
1. 使用 vite 快速搭建 vue3 项目开发环境
2. 采集音频和视频,并对音频进行频率过滤,音频通过 WebSocket 推送后端,视频通过 WebRTC 推流给后端进行动作识别分析
3. 使用 Threejs 加载 fbx 文件骨骼动画,及贴图背景,通过后端状态驱动虚拟人物动画,实现交互
4. 涉及技术栈:vue3+vueRouter+axios+websocket+threejs
项目是为某大学实验室二次开发的ros循迹小车,可以利用bs界
1. 精通C++、Python、Go等多种编程语言及相关开发
从提升编程能力角度来看,DeepSeek大模型机器人平台为师
专注于学术论文写作支持与程序代码调试(Debug)。具备扎实
拥有扎实的深度学习项目经验,熟练运用CNN/RNN/Tran
实现使用MediaPipe 实时获取视频人体姿态,并且通过w
需求方专属客服,免费梳理匹配
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如当前档期不合,也可免费为您推荐相似案例作者