MIT最新研究：纯文本模型也能训练出视觉表征 用代码就能作画

要点:

MIT的研究团队通过对语言模型的系统评估，展示了使用纯文本模型训练视觉概念表征的可能性，通过代码生成图像，实现视觉学习系统。

虽然语言模型无法直接处理像素形式的视觉信息，但通过对字符串关系的建模，研究人员成功训练出能够理解和生成复杂视觉概念的模型。

研究结果表明，语言模型在生成复杂场景方面表现出色，但在捕捉视觉细节如纹理、精确形状等方面仍有改进空间，通过文本纠错可进一步提升模型的视觉生成能力。

最近，MIT计算机科学与人工智能实验室的研究人员进行了一项有趣的研究，通过评估语言模型的视觉能力，揭示了纯文本模型训练视觉概念表征的新可能性。

他们使用代码而非图像进行渲染和表示，成功地教会语言模型生成和理解复杂的视觉概念。虽然生成的图像可能不像自然图像，但通过模型的自我纠正，研究人员证明了对字符串和文本进行精确建模可以教会语言模型有关视觉世界的多种概念。

论文地址:https://arxiv.org/pdf/2401.01862.pdf

研究人员构建了三个不同复杂度的文本描述数据集，从简单的形状和组合到复杂的场景，评估了模型在生成、识别和修改图像渲染代码方面的能力。

实验结果显示，语言模型在生成由多个物体组成的复杂视觉场景方面表现出色，但在捕捉视觉细节方面有一些局限。通过文本纠错，研究人员成功地改善了模型的视觉生成能力，为使用纯文本模型训练视觉系统提供了新的思路。

研究中的一个关键发现是，语言模型在生成代码方面表现出相当高效的能力，但在识别以代码表示的视觉概念方面较为困难。与人类相反，模型在生成复杂场景方面表现出色，但在解释代码内容上存在难题。通过使用自身生成的自然语言反馈，研究人员成功地通过迭代过程改善了模型的视觉效果。

综合而言，这项研究拓展了我们对语言模型的理解，展示了它们不仅可以理解视觉概念，还能够通过文本生成和纠错进行视觉学习。这为未来发展更强大的纯文本模型提供了启示，有望推动语言模型在视觉领域的更广泛应用。