ai数字人

人工智能其他案例ID：220983

LiChenYiGeek

12 年经验· 苏州迅智源

微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

AI数字人是一个结合了多种先进技术的项目，它允许用户与一个虚拟的、类似《原神》游戏中派蒙角色的数字人物进行交互。以下是关于如何使用和构建AI派蒙数字人的一些详细信息：

### 技术构成：

1. **语音识别**：使用阿里达摩院的Paraformer模型，将用户的语音输入转换为文字。
2. **语言模型**：基于OpenAI的ChatGPT进行训练，生成自然语言应答。
3. **语音生成模型**：使用VITS模型将文字转换为语音。
4. **情绪分类**：利用Google开发的BERT模型进行情感分析，根据结果对数字人的表情和动作进行预设。
5. **前端展示**：使用UE5引擎来展示数字人物的表情和动作。

### 使用步骤：

1. **API申请**：调用OpenAI提供的API，使用机器学习模型进行文本生成。
2. **对话生成**：可以使用GPT-3.5接口或网页版ChatGPT Plus进行对话。
3. **催眠ChatGPT**：为了让ChatGPT模拟派蒙的角色，可以使用特定的提示词和性格描述来训练模型。

### 构建数字派蒙机器人：

- **Renpy**：这是一个视觉小说引擎，用于创建交互式故事。
- **Live2d**：用于生成具有动态效果的模型。
- **Socket通讯**：用于处理前端和后端的信息交互。

### 注意事项：

- 这个项目需要在具备一定硬件配置的PC上运行，至少需要一块9系NVIDIA显卡作为服务端。
- 客户端可以在PC或安卓设备上运行。