AI透视眼！Wild2Avatar可逼真渲染视频中被遮挡的人物

站长网2024-01-04 15:34:440阅

**划重点:**

1. 🚀 **挑战与解决方案**:面对现有研究在理想条件下渲染3D人物的局限性，Wild2Avatar专注于解决真实场景中摄像头视野被遮挡导致部分遮挡的问题。

2. 🔍 **创新方法**:通过场景参数化，将场景分解为遮挡、人物和背景三个部分，并利用神经辐射场分别建模人物和遮挡/背景，以实现对被遮挡人物的准确渲染。

3. 🌟 **实验验证**:通过在野外视频上的实验证明，Wild2Avatar方法在解决真实世界场景下的挑战方面取得显著成效。

在渲染移动人物的视觉外观时，面对摄像头视野被遮挡的问题是一项巨大的挑战。大多数现有研究在理想条件下渲染3D人物，要求场景清晰且无障碍。然而，在真实世界场景中，可能会有障碍物阻挡摄像头视野，导致人物出现部分遮挡，这使得这些传统方法无法应用。

为了解决这一问题，著名人工智能教授李飞飞团队推出了Wild2Avatar，这是一种专为视频中被遮挡人物设计的神经渲染方法。

研究团队提出了一种考虑遮挡的场景参数化方法，将整个场景分解为遮挡、人物和背景三个部分。此外，我们设计了广泛的客观函数，以帮助强化人物与遮挡、背景的分离，并确保对人物模型的完整性。我们通过在野外视频上进行实验证明了我们方法的有效性。

方法介绍:

为了实现逼真的呈现，该方法将场景参数化为三个部分:遮挡物 → 人 → 背景，并通过新颖的优化目标将这些渲染解耦。为了处理在真实世界场景中可能出现的遮挡情况，该方法引入了感知遮挡的场景参数化，将场景解耦为遮挡、人和背景三个部分。此外，该方法设计了广泛的客观函数，以帮助强化将人从遮挡和背景中解耦，并确保人体模型的完整性。

具体来说，方法使用了场景的自分解技术，通过倒置球面参数化的扩展，引入了感知遮挡的场景参数化。在这个参数化中，除了第一个由倒置球面参数化定义的球体外，引入了第二个内部球体，并将从摄像机到内部球体边缘的区域定义为遮挡区域。通过分开渲染这个区域，可以将遮挡与场景的其余部分解耦。为了确保对人的高保真和完整呈现，方法通过像素级光度损失、场景分解损失、遮挡解耦损失和几何完整性损失的组合来聚合三个渲染。