SceneTex: 生成高质量、风格一致的室内场景纹理的新型AI方法

划重点:

1. 🌐 高质量3D内容合成是自动驾驶、机器人模拟、游戏、电影制作和未来虚拟/增强现实场景等多个应用领域的关键问题。

2. 🤖 SceneTex采用深度到图像扩散先验，以在室内场景网格中生成高质量且风格一致的纹理，克服了传统方法中的多个问题。

3. 🚀 研究团队使用多分辨率纹理和交叉注意力解码器，实现了全局样式一致性，提高了室内场景的纹理生成质量。

近日，慕尼黑工业大学和Snap Research的研究团队提出了一种名为SceneTex的全新AI方法，旨在解决室内场景纹理生成中的挑战，实现高质量、风格一致的3D内容合成。

传统上，尽管3D几何建模取得了长足进步，但创建物品外观或纹理仍然需要大量人工劳动，尤其是使用诸如Blender等3D建模程序。由于对人工技能的高需求和相关成本，自主纹理设计和增强一直未能完全实现工业化。最新的2D扩散模型在文本到3D创建中取得了进展，但将其扩展到整个场景的纹理生成仍然面临一些困难。

SceneTex通过采用深度到图像扩散先验，将纹理创建定位为RGB空间中的纹理优化挑战，与现有技术不同，后者通常是将2D视图反复映射到网格表面。研究团队引入了多分辨率纹理字段，以微妙地描绘网格外观，并使用交叉注意力解码器减少自遮挡引起的样式不一致性。他们的设计能够在低频和高频适应性地学习外观信息，通过全局引用确保每个模型内部的全局样式一致性。

在实际应用中，每个解码的RGB值通过与分布在每个对象上的预采样参考表面位置进行交叉引用而生成。通过为每个可见位置提供整个实例外观的全局引用，研究团队进一步确保了每个模型内部的全局样式一致性。SceneTex的研究团队通过对3DFRONT数据集的用户研究表明，该技术在2D指标（如CLIP和Inception得分）方面优于其他基于文本的纹理创建算法。

SceneTex通过创新性地使用深度到图像扩散先验，提出多分辨率纹理和交叉注意力解码器，成功实现了室内场景的高质量、风格一致的纹理生成。研究团队的技术贡献包括在高分辨率下生成高质量场景纹理的独特框架，通过多分辨率纹理准确捕捉丰富的纹理特征，并使用交叉注意力纹理解码器为3D-FRONT场景生成更具审美感和风格一致性的纹理。详细信息请查看论文、Github和项目。

该研究为未来实现更先进的3D内容生成和应用提供了有力支持，为行业发展开辟了新的方向。

项目网址:https://daveredrum.github.io/SceneTex/