成都后端兼职程序员外包

需求描述

# MuseTalk 实时数字人模型训练项目需求（LiveTalking 可直接部署）

## 一、项目目标

训练一个可直接用于 LiveTalking 部署的 MuseTalk 实时推理模型。

最终交付结果必须满足：

* 可直接接入 LiveTalking
* 支持实时口型驱动
* 音频驱动嘴型同步
* 推理稳定
* 可部署 Linux GPU 环境
* 可进行实时 inference


交付内容：

1. 完整训练后的 MuseTalk 模型
2. 推理代码和数据集
3. 配置文件
4. 数据处理代码
5. 可直接运行的 inference demo
6. LiveTalking 对接说明

---

# 二、输入素材

甲方提供：

* 单人讲话视频
* 音频清晰
* 人脸清晰
* 尽量正脸
* 无严重遮挡

视频用于训练指定人物数字人口型模型。

# 三、模型训练要求

必须完成：

* MuseTalk 模型训练
* loss 收敛
* 可正常推理
* 嘴型同步稳定

要求：

* 支持中文
* 支持英文
* 支持实时推理

---

# 四、实时推理要求（重点）

最终模型必须满足：

## 1. 可直接用于 LiveTalking

即：

* 能直接替换 LiveTalking 中 MuseTalk 推理模型
* 提供对应 config
* 提供 checkpoint

---

## 2. 实时推理性能

目标：

* RTX 4090 下实时运行
* 尽量达到：

* 20~30 FPS

---

## 3. 推理稳定性

要求：

* 嘴型不漂移
* 不闪烁
* 不鬼畜
* 不明显延迟查看更多>