谷歌 DeepMind 推出 NaViT 模型 可显著减少训练时间

最近，Google DeepMind 推出了 NaViT:一种新的 ViT 模型，它在训练过程中使用序列打包来处理任意分辨率和宽高比的输入。该模型将图像分割成小块，并线性投影到令牌上，形成了这个模型的基础。

之前的研究已经探讨了与这个模型不同的可能性:FlexiViT 允许连续范围的序列长度，并通过在每个训练迭代中随机选择补丁大小，并使用缩放技术来适应初始卷积嵌入中的多个补丁大小。Pix2Struct 的替代补丁方法在图表和文件理解等任务中非常有价值。

NaViT 是谷歌研究人员开发的另一种替代方案，它采用了 Patch n' Pack 技术，通过将多个来自不同图像的补丁打包到一个序列中，实现了不同分辨率的同时保持宽高比。NaViT 在广泛的解决方案范围内都表现出色，为推理时间提供了平滑的性能 - 成本平衡，并且易于适应新任务，而且无需花费大量资金。