OpenAI 发布新的文本生成 3D 模型 Shap-E：比 Point-E 更快更好

OpenAI 最近分享了他们在将文本提示转化为 3D 物体方面的最新探索，名为 Shap-E。这款生成式 AI 工具提供了一种新的方式来生成 3D 物体，其制作的物体比去年发布的 Point-E 模型更好、更详细、更准确。

截自Shap-E GitHub 页面

OpenAI 构建了 Shap-E 作为文本到 3D 模型生成器，能够生成细粒度纹理和复杂的详细形状。而 Point-E 根据文本提示生成 3D 点云，Shap-E 直接创建物体的轮廓，并采用了名为神经辐射场（NeRFs）的特性来克服之前模型的模糊性。NeRFs 是虚拟和增强现实中使用的技术，可以使三维场景看起来像是真实照片一样。

Shap-E 将这项技术应用于更常见的扩散模型，以形成与文本提示所建议的物体形状和纹理。该过程也比 Point-E 快得多。在单个 NVIDIA V100 GPU 上，集合中的每个 Shap-E 样本生成时间约为 13 秒，而 Point-E 在相同硬件上渲染可能需要多达两分钟的时间。

研究人员解释道：「我们发现，在相同的数据集、模型架构和训练计算资源的条件下，Shap·E 与类似的显式生成模型相匹配或超越其性能。我们还发现，我们的纯文本条件模型可以生成多样化、有趣的物体，而无需依赖图像作为中间表示。这些结果突显了生成隐式表示的潜力，特别是在像三维领域这样的领域，隐式表示比显式表示更具灵活性。」

Shap-E 的开发者承认，与 Point-E 的点云方法相比，大规模使用的计算能力可能较高。这款 AI 在理解如何制作一些复杂物体方面仍然存在困难，但总体而言，其结果在成功方面非常显著。