Meta提出TextureDreamer：利用扩散模型生成完整的3D模型纹理贴图

高质量的3D内容对于AR/VR、机器人技术、电影和游戏等应用至关重要。然而，纹理的创作一直是视觉和图形领域的挑战之一。传统方法需要密集的视角采样和准确对齐的几何信息，而学习方法则受限于特定数据集内的类别形状。

论文地址:https://arxiv.org/pdf/2401.09416.pdf

本文提出了TextureDreamer方法，通过少量图像（3至5张）引导，实现了从真实环境中合成纹理并转移到任意对象的目标3D形状。其核心思想是个性化几何感知分数蒸馏(PGSD)，结合了个性化建模、变分分数蒸馏和显式几何引导。与以往方法相比，TextureDreamer在纹理质量上取得了显著改进，成功实现了对不同几何形状的逼真、语义丰富的纹理转移。

实验证明，TextureDreamer超越了先前的最先进方法，极大地推动了纹理创作的民主化。通过对Dreambooth、ControlNet和分数蒸馏等关键技术的综合应用，TextureDreamer展现了在图像引导纹理合成领域的卓越性能。