芝加哥大学研究人员推出3D画笔:使用文本生成局部风格化纹理的AI方法

**划重点:**

1. 🌐3D画笔通过文本描述自动为网格上的局部语义区域着色，实现了直接在网格上进行纹理编辑的目的。

2. 🤖 研究团队采用级联分数蒸馏（CSD）和神经场来提高局部纹理区域的细节和分辨率。

3. 🚀 该方法使用在3D表面上定义的多层感知器，创建产生在3D中平滑变化的神经纹理，减少了纹理的噪点，并具有超分辨率能力。

芝加哥大学的研究人员与Snap Research合作，推出了一种名为3D画笔（3D Paintbrush）的人工智能方法，通过文本描述自动生成网格上的局部语义区域的纹理。这一创新使得用户可以通过直观的、自由形式的文本输入控制纹理编辑，为各种网格描述其编辑。

为了提高局部纹理区域的细节和分辨率，研究团队引入了级联分数蒸馏（CSD）和神经场的概念。通过这些方法，他们能够修改定位区域并在局部区域内变形几何形状。采用多层感知器对神经场进行编码，以表示定位和纹理映射，确保了纹理的一致局部风格。

与现有模型相比，研究人员表示，3D画笔的定位更加清晰，并使用级联分数蒸馏控制监督的粒度和全局理解，实现了比其他SDS更高分辨率的纹理和定位。

该方法通过在3D表面上定义的多层感知器（MLPs）创建神经纹理，产生在3D中平滑变化的输出。这在2D纹理图在纹理接缝处存在不连续性时尤为重要。MLPs提供的平滑性减少了纹理的伪影，减少了噪点，并具有超分辨率能力。

研究团队同时优化了定位和纹理区域，他们发现同时优化可以产生高度详细的纹理，有效地符合预测的定位区域。未来，他们计划将局部编辑能力扩展到文本化以外，并学习使用相同的局部纹理图在多个形状之间提供对应关系。

这一研究为3D建模和纹理编辑领域带来了新的可能性，为游戏、动画、电影等各个行业提供了更加高效和直观的纹理编辑工具。

项目网址:https://threedle.github.io/3d-paintbrush/

论文地址:https://arxiv.org/abs/2311.09571