研究者推3D视频渲染新方法4K4D 画面相当流畅

要点:

1. 研究者提出了一种名为4K4D的点云表示方法，用于高保真实时渲染动态3D场景，速度提高了30多倍，达到了4K分辨率和SOTA渲染质量。

2.4K4D方法结合了4D点云表示和混合外观模型，通过可微深度剥离算法实现前所未有的渲染速度。

3.4K4D在多个广泛使用的多视图动态新视图合成数据集上进行了广泛实验，速度达到400FPS（1080p分辨率）和80FPS(4K分辨率)，在渲染质量上明显优于SOTA技术。

这项研究提出了一种创新性的点云表示方法，被称为4K4D，可以实时渲染动态的3D场景，并以前所未有的速度和渲染质量呈现。在当今，我们经常观看2D视频，而这些视频限制了我们选择观看角度的能力。然而，随着虚拟现实（VR）和增强现实(AR)技术的兴起，我们可以更自由地切换视角和沉浸在3D视频中。

但是，实时渲染高分辨率3D动态场景一直是一项技术挑战，这项研究试图解决这个问题。研究团队来自浙江大学、像衍科技和蚂蚁集团，他们的方法通过使用4K4D点云表示，能够以前所未有的速度进行渲染。使用RTX4090GPU，他们能够以4K分辨率渲染，帧率高达80FPS;而以1080p分辨率渲染时，帧率甚至可以达到400FPS，速度是以前方法的30多倍，而且渲染质量达到了SOTA水平。

项目地址:https://zju3dv.github.io/4k4d/

论文地址:https://arxiv.org/pdf/2310.11448.pdf

4K4D的关键创新包括4D点云表示和混合外观模型。对于动态场景，研究团队使用空间雕刻算法获得粗点云序列，并将每个点的位置建模为可学习的向量。他们还引入了4D特征网格，为每个点分配特征向量，并将其输入多层感知器（MLP）网络，以预测点的半径、密度和球谐函数系数。此外，他们还开发了可微深度剥离算法，以实现前所未有的渲染速度。

研究团队还引入了混合外观模型，以解决动态场景的外观表示问题。这个模型结合了图像混合技术和球谐函数模型，以表示场景的外观。值得一提的是，他们的设计使图像混合网络可以在训练后预先计算，从而提高了渲染速度。

在多个广泛使用的多视图动态新视图合成数据集上的实验结果表明，4K4D不仅在速度上有了显著提升，而且在渲染质量方面也明显优于现有技术。这项研究的成果有望在VR/AR、体育广播和艺术表演捕捉等领域发挥重要作用，为实时渲染高分辨率3D动态场景提供了一种突破性的解决方案。