Meta推出实时3D头像合成方法 光线可调节

要点:

Meta 的 Codec Avatars Lab 提出了一种高保真、光线可调节的虚拟头像合成方法。

该方法使用可学习辐射传输和球面高斯实现了全频率反射的实时重新照明。

通过 Relightable Gaussian Codec Avatars 可以捕获3D 一致的亚毫米细节。

Meta 的 Codec Avatars Lab 最近提出了一种名为 Relightable Gaussian Codec Avatars 的方法，可以合成逼真且光线可调节的虚拟头像。这个方法通过可学习辐射传输和球面高斯实现了全频率反射的实时重新照明。传统的头像合成方法存在着一些挑战，例如如何准确地表示人体头部的多种材质，以及如何精确跟踪和建模运动中的底层几何体。Relightable Gaussian Codec Avatars 通过引入可重新照明的外观模型和基于3D 高斯的几何模型，解决了这些挑战。

论文地址:https://arxiv.org/pdf/2312.03704.pdf

项目主页:https://shunsukesaito.github.io/rgca/

Relightable Gaussian Codec Avatars 的核心思想是使用可学习辐射传输来表征人体头部的多种材质。由于人类视觉对于头部外观非常敏感，因此需要一种能够准确地表示皮肤、头发和眼睛等不同材质的方法。这个方法使用球面高斯来实现全频率反射的实时重新照明，能够捕获3D 一致的亚毫米细节。此外，该方法还引入了基于3D 高斯的可驱动化身，使用 Gaussian Splatting 技术来渲染复杂的几何细节。

Relightable Gaussian Codec Avatars 在实验中展现出了令人印象深刻的结果。重建的虚拟人物可以拥有新的表情、视图和光照，包括点光源和高分辨率环境图。即使是眼睛中的光反射也能忠实地再现周围环境，不会丢失高频细节。该方法在几何表征和外观表征上都取得了优异的性能，能够更好地建模皮肤细节和发丝，并且可以实现高频反射。实验结果显示，Relightable Gaussian Codec Avatars 可以捕获动态面部序列上的发丝和毛孔等亚毫米细节。

Relightable Gaussian Codec Avatars 的推出为实时3D 头像合成提供了一种高保真、光线可调节的方法。该方法能够捕获头部多种材质的细节，实现了全频率反射的实时重新照明。通过引入可重新照明的外观模型和基于3D 高斯的几何模型，这个方法能够精确地表示人体头部的复杂特征。这种虚拟头像合成方法在元宇宙和虚拟现实等领域具有广泛的应用前景，有助于提高用户体验和真实感。

Relightable Gaussian Codec Avatars 是一种创新的实时3D 头像合成方法，具有高保真、光线可调节的特点。通过使用可学习辐射传输和球面高斯来表征人体头部的多种材质，该方法能够捕获头部细节的亚毫米级精度。实验结果显示，重建的虚拟人物能够拥有新的表情、视图和光照，并且能够忠实地再现周围环境。Relightable Gaussian Codec Avatars 为实时3D 头像合成提供了一种先进的解决方案，有望在元宇宙和虚拟现实等领域得到广泛应用。