InseRF技术:在图片中通过文本提示生成逼真的3D物体

划重点:

1. 🌐 **新技术亮点**:InseRF技术通过文本提示和2D边界框，成功在3D场景中生成一致的物体，无需明确的3D信息。

2. 🚀 **性能超越**:实验证明，InseRF相较于现有方法表现更出色，能够在NeRF中插入一致的物体，为生成式AI领域带来新突破。

3. 🌈 **未来展望**:尽管受到底层模型能力的限制，但团队计划通过未来模型的改进，进一步优化InseRF性能。

近日，瑞士苏黎世联邦理工学院和Google苏黎世的研究人员联合提出了一项名为InseRF的新技术，该技术引起了科技界的广泛关注。该技术通过文本提示和2D边界框，成功在3D场景中生成一致的物体，无需明确的3D信息。这一创新的方法为生成式AI领域注入了新的活力。

新技术亮:

InseRF技术的独特之处在于，它结合了Neural Radiance Fields（NeRFs）和生成式AI的最新进展。通过在2D图像上标记变化区域，并使用文本提示描述变化，例如“在托盘上放入面包”，InseRF生成了一致的3D物体。该技术的核心在于使用扩散模型和NeRFs，从2D视图中生成物体并估计深度信息，然后更新NeRF以生成逼真的3D物体，如下图托盘就增加了个面包。

性能超越:

实验结果表明，InseRF在NeRF中插入一致的物体方面表现优越，相较于现有方法具有更高的性能。研究人员在MipNeRF-360和Instruct-NeRF2NeRF数据集上对室内外场景进行了测试，清晰展示了InseRF在局部修改场景和插入3D一致物体方面的卓越能力。

尽管InseRF的性能受到底层生成式2D和3D模型能力的限制，但研究团队表示，未来对这些模型的改进将有望轻松应用于InseRF技术。团队计划在未来测试其他方法，包括改进阴影效果和提升生成物体及其环境质量的方法，以进一步推动该技术的发展。

InseRF技术的提出为生成式AI领域带来了新的可能性，为在3D场景中插入一致物体提供了一种创新的方法。随着技术的不断发展和改进，InseRF有望成为未来生成式AI领域的重要技术之一。

项目网址入口:https://top.aibase.com/tool/inserf