SteinDreamer:改进的文本到3D生成技术 速度更快、纹理结构更精细

划重点:

- 🌐 文本至3D生成领域的最新研究，由德克萨斯大学奥斯汀分校和Meta Reality Labs的研究人员共同推出SteinDreamer。

- 🚀 SteinDreamer集成了Stein Score Distillation（SSD）技术，成功解决了在3D合成中存在的梯度估计的高方差问题。

- 🖼️ 在对象和场景级别的3D生成中，SteinDreamer的性能超越了DreamFusion和ProlificDreamer，呈现出更精细的纹理、精确的几何结构，并有效减轻了Janus和幽灵伪影等问题。

最近，德克萨斯大学奥斯汀分校和Meta Reality Labs的研究人员联手推出了SteinDreamer，该技术集成了Stein Score Distillation（SSD）技术，以改进文本至3D生成领域的梯度估计高方差问题。这一技术的突破对于自动化和加速虚拟现实、电影和游戏中的3D资产创建具有重要意义。

文本至图像生成领域的最新进展，受到扩散模型驱动的启发，引发了对文本引导的3D生成的关注。这一技术旨在为虚拟现实、电影和游戏等领域的3D资产创建提供自动化解决方案。然而，在3D合成中存在着挑战，包括高质量数据的稀缺性以及使用3D表示进行生成建模的复杂性。为解决3D数据匮乏的问题，一些研究人员提出了分数蒸馏技术，利用2D扩散模型进行训练。然而，这一方法存在噪声梯度和不稳定性的问题，这源于去噪不确定性和小批量大小，导致收敛缓慢和亚优化解的产生。

SteinDreamer的研究团队将提出的Stein Score Distillation（SSD）技术整合到文本至3D生成的流程中。SSD成功解决了在分数蒸馏过程中存在的方差问题，特别是在梯度估计方面。在3D对象和场景级别生成方面，SteinDreamer的性能超越了DreamFusion和ProlificDreamer，提供了详细的纹理和精确的几何形状，减轻了Janus和幽灵伪影等问题。SteinDreamer通过降低方差加速了3D生成的收敛，减少了迭代次数。

SSD与现有其它技术生成作品对比:

总体而言，SteinDreamer作为文本至3D生成领域的创新性解决方案，通过引入SSD技术，不仅改进了梯度估计的方差问题，还在对象和场景生成方面取得了显著的视觉质量提升。该技术的实施提供了更稳定的梯度更新，使其在收敛速度上超过了现有方法。实证结果显示，相较于SDS，VSD的性能始终更出色，表明它们的数值估计方差存在显著差异。SteinDreamer通过SSD技术呈现出更丰富的纹理和较低级别的方差，相较于SDS产生了更少的过饱和和过度平滑的伪影。

论文:https://arxiv.org/pdf/2401.00604.pdf