谷歌推具备空间推理能力的视觉语言模型SpatialVLM

要点:

1、谷歌提出了SpatialVLM，旨在赋予视觉语言模型空间推理能力。

2、研究者利用现实世界数据训练SpatialVLM，弥补了常见数据集对空间信息的限制。

3、通过生成大规模空间VQA数据集，研究者成功使视觉语言模型具备直接空间推理和链式思维能力。

谷歌最新研究提出SpatialVLM，旨在解决视觉语言模型缺乏空间推理能力的问题。过去，视觉语言模型在理解目标在三维空间中位置或关系时存在困难，研究者通过借鉴人类空间推理能力的思路，提出了这一新方法。他们强调，当前模型的限制可能来自训练时使用的数据集的限制，因此他们专注于从现实世界数据中提取空间信息，以提升模型的表现。

项目地址:https://spatial-vlm.github.io/

研究者使用开放词汇检测、深度估计、语义分割等模型提取真实世界数据，训练SpatialVLM以增强空间推理能力。实验证明，这一模型在回答空间问题和定量估计方面表现出色，甚至在有噪声的训练数据下也能可靠工作。SpatialVLM不仅具备了常识知识，还能在复杂的空间推理任务中展现出强大的表现。

为了让视觉语言模型具备空间推理能力，研究者设计了一个全面的数据生成框架，通过提取实体信息和生成大规模空间VQA数据集来训练模型。他们指定了38种不同类型的空间推理问题，包括定性和定量问题，并创建了包含数亿个问答对的庞大数据集。通过这种方式，他们成功使模型具备了直接空间推理和链式思维的能力，提升了视觉语言模型的整体性能。

总的来说，谷歌的新研究为视觉语言模型的发展带来了新的可能性，通过赋予模型空间推理能力，使其在处理复杂空间任务时表现更为出色。这一研究成果有望推动视觉语言模型在未来的发展方向上取得更大突破，为人工智能领域带来新的进步。