新NeRF技术:将视频转化为可控制的3D模型 创建数字人更简单了

划重点:

1. 🤖 Fraunhofer Heinrich Hertz研究团队引入新技术，使用神经辐射场（NeRF）将标准RGB视频转化为可控制的3D人体模型，简化了数字人物创建过程。

2. 👥 这一创新有望在电影、游戏、虚拟现实等领域，降低数字人物模型制作成本，提供更多应用可能。

3. 🖼️ NeRF技术通过预测光线与场景的交互来创建逼真的3D图像，为实现从不同角度的人物动作提供了新途径。

近日，Fraunhofer Heinrich Hertz研究团队取得重大突破，他们引入了一项全新技术，使用神经辐射场（NeRF）将标准RGB视频转化为可控制的3D人体模型。这一创新代表了计算机图形领域中的一项重要进展，解决了从视频片段中创建逼真、可控制的3D模型一直以来的难题。

传统上，要创建逼真的3D人物模型通常需要昂贵的多摄像头设置和复杂的手工建模，因此不适用于众多低成本应用。然而，Fraunhofer Heinrich Hertz研究团队的新技术为这一问题提供了创新性的解决方法。他们通过NeRF技术，可以直接从标准RGB视频素材中重建出精细的3D人体模型，无需昂贵设备和繁重的人工劳动。

NeRF技术，即神经辐射场，是一项用于创建逼真3D图像的新技术。它通过算法预测光线如何与场景交互，从而创建出看似真实的图像，即使是从以前未见过的角度观察。然而，将NeRF技术应用于捕捉人物运动和不同姿态的图像是一个更加复杂的问题。人类和他们的运动是复杂多变的，NeRF需要理解这种复杂性才能创建出清晰的图像。

研究介绍了一种名为Surface-Aligned Neural Radiance Fields （UVH-NeRF）的技术，该技术提供了一个从视频素材中生成详细3D人像图像的过程。

该方法包括将3D人体模型与视频中的人物进行对齐，通过将2D图像映射到模型的表面来创建贴图，以及使用神经网络来微调模型的空间变换，确保NeRF对人体模型的表示精确对齐。通过这些步骤，NeRF可以学习并呈现出多种姿势和角度的人物模型，创造出多功能和动态的3D人像。

以下是该方法的细分:

1.将3D 人体模型调整为视频:第一步是将3D 人体模型与视频中的主题对齐。这通过提供在整个视频序列中反映人物形状和动作的3D 结构，为后续步骤奠定了基础。

2.使 NeRF 适应人体几何形状:该方法通过以下方式修改传统的 NeRF 空间:

将点投影到模型的表面上:它在3D 模型的表面上定位与视频中的位置相对应的点。这些点用于将2D 图像中的纹理映射到模型上。

计算与模型表面的距离:对于空间中的每个点，该技术计算其与模型表面的距离，这有助于确定点相对于模型的位置（内部、上方或外部）。

结合关节运动:它使用骨骼关节数据为模型制作动画，这有助于以不同的姿势呈现人。

3.使用神经网络完善空间理解:神经网络被教导微调这种空间转换，确保 NeRF 的空间表示准确并与人类模型保持一致。

从研究结果来看，这项技术在从视频片段生成3D模型方面表现出令人印象深刻的潜力。虽然目前仍存在一些限制，尤其是在复杂运动和较长序列方面，但它为将来的研究和改进奠定了基础。

这一创新的应用前景广泛，有望降低数字人物模型的制作成本，对电影、游戏、虚拟现实等领域产生积极影响。最终，这项工作将数字人物的创建变得更加可行，为个人创作者和小型制作团队带来更多应用可能性。