首页站长资讯LangSplat:精准搜索3D世界中的对象 比LERF快199倍
17258

LangSplat:精准搜索3D世界中的对象 比LERF快199倍

站长网2024-01-02 11:35:180

划重点:

🚀 创新方法:LangSplat通过将CLIP特征映射到一组3D语言高斯中,实现了精准的3D语言场,比LERF快199倍。

🌍3D语言场:文章介绍了LangSplat,构建了一个3D语言场,支持在3D空间内进行精准高效的开放式语言查询。

🎨 视觉效果:LangSplat通过可视化学习特征,准确捕捉物体边界,无需后处理,同时在1440×1080分辨率下比LERF快199倍。

LangSplat 是一种3D 语言高斯模型,允许您按语言搜索3D 世界 。

清华大学和哈佛大学的研究人员开发了LangSplat,这是一种新的人工智能系统,可以在3D空间中高效、准确地搜索开放词汇。据称,该系统在速度和准确性方面显着优于之前最先进的方法LERF 。

加州大学伯克利分校的研究人员于2023年3月提出了语言嵌入式辐射场 (LERF)。该系统将大型语言模型集成到NeRF中,无需特殊训练即可在3D 环境中实现准确的物体识别。例如,书店 NeRF 环境中的用户可以根据愿景以自然语言搜索特定书名。该技术还可用于机器人技术、模拟中机器人的视觉训练以及人类与3D 世界的交互。

LangSplat 速度快了近200倍,而且更准确

然而,LERF 不适合实时搜索并且相对不准确。LangSplat 使用3D 高斯构建3D 语言场。研究人员表示,这种方法避免了 NeRF 所需的复杂渲染过程。在1440x1080像素的分辨率下,LangSplat 比 LERF 快199倍。

为了形成3D 语言场,LangSplat 使用 Meta 的Segment Anything Model从场景的多个图像中学习分层语义。具体来说,图像被分解为边界清晰的不同对象掩模,其中对象进一步分解为整体、部分和子部分。然后,学习到的掩模由 CLIP 进行处理,其嵌入训练一个自动编码器,然后用于训练 LangSplat 的3D 语言高斯函数。

LangSplat 可以区分汤的成分

LangSplat 更加准确:在一个示例中,团队要求标记“一杯茶”。LERF 标记两个杯子,而 LangSplat 标记玻璃杯中的液体。在另一个例子中,它可以标记一碗拉面汤中的各个成分。

研究人员在两个数据集(LERF 数据集和3D OVS 数据集)上测试了 LangSplat。在这两种情况下,LangSplat 在速度和准确性方面都明显优于 LERF。具体而言,LangSplat 在 LERF 数据集上的总体准确度为84.3%,在3D OVS 数据集上的总体准确度为93.4%,而 LERF 的总体准确度分别为73.6% 和86.8%。

该团队认为进一步提高速度是可能的,尤其是在更高分辨率的情况下。

项目体验网址:https://top.aibase.com/tool/langsplat

0000
评论列表
共(0)条