Meta AI发布炸裂项目audio2photoreal 可将音频生成全身逼真的虚拟人物形象

Meta AI最近发布了一项引人注目的技术，他们成功地开发出一种能够从音频中生成逼真的虚拟人物形象的系统。

这个系统能够根据多人对话中的语音生成与对话相对应的逼真面部表情、完整身体和手势动作。这些虚拟人物不仅在视觉上非常逼真，而且能够准确地反映出对话中的手势和表情细节，例如指点、手腕抖动、耸肩、微笑和嘲笑等。

项目及演示:https://people.eecs.berkeley.edu/~evonne_ng/projects/audio2photoreal/

代码:https://top.aibase.com/tool/audio2photoreal

Demo:https://colab.research.google.com/drive/1lnX3d-3T3LaO3nlN6R8s6pPvVNAk5mdK

这个系统的工作原理如下:

首先，Meta AI团队捕获了一组丰富的双人对话数据集，这些数据集能够提供逼真的重建。然后，他们构建了一个复合运动模型，其中包括面部运动模型、引导姿势预测器和身体运动模型。

在生成面部运动时，系统使用预训练的唇部回归器处理音频，提取与面部运动相关的特征，并利用条件扩散模型生成面部运动。

在生成身体运动时，系统根据音频自回归地输出每秒1帧的向量量化（VQ）引导姿势。然后，将音频和引导姿势输入到扩散模型中，以每秒30帧的速度生成高频身体运动。

最后，生成的面部和身体运动被传入训练好的虚拟人物渲染器，生成逼真的虚拟人物。

最终展示的结果是根据音频生成的全身逼真虚拟人物，这些虚拟人物能够表现出对话中的细微表情和手势动作。

这项技术的发布将为虚拟人物的创造和应用领域带来巨大的进步。无论是在游戏开发、虚拟现实还是电影制作领域，这种能够从音频中生成逼真虚拟人物的系统都将发挥重要作用。

Meta AI的成果再次展示了他们在人工智能领域的卓越能力和创新精神。他们不断推动着技术的边界，为我们带来了一个全新的虚拟人物生成的时代。我们可以期待在不久的将来，这种技术将成为我们生活中不可或缺的一部分。