浙大校友联手微软开源LLaVA-1.5,硬刚GPT-4V

要点:

LLaVA-1.5在11项基准测试实现了SOTA，使用8块A100GPU，LLaVA-1.5的训练仅需1天时间即可完成。

LLaVA-1.5在多模态理解上超越GPT-4V，可对其形成有力竞争。

LLaVA-1.5采用最简单的架构和公开数据集，性能显著提升。

LLaVA-1.5是来自威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学的研究人员近期开源的一款全新的端到端多模态大模型，可与OpenAI的GPT-4V形成正面竞争。LLaVA-1.5在11项基准测试中都实现了新的状态最优（SOTA）成绩，包括视觉问答、图像 caption等任务，展现出了强大的多模态理解能力。

论文地址:https://browse.arxiv.org/pdf/2310.03744.pdf

相比之前的版本LLaVA，LLaVA-1.5采用了更高分辨率的图像输入、更大规模的语言模型（13B参数），以及面向学术任务的视觉问答数据集，从而获得了显著的性能提升。研究人员发现，与额外的大规模预训练相比，视觉指令微调对提高多模态能力更为关键。

值得一提的是，LLaVA-1.5采用了最简单的架构设计，只需要在公开可取得的6百万图像文本配对上训练一个全连接层，就能在多项基准测试中打败复杂的SOTA系统，刷新记录。使用8块A100GPU，LLaVA-1.5的训练仅需1天时间即可完成。LLaVA-1.5展示了开源大模型可以通过简单的设计和公共数据取得竞争力，为未来的研究提供了有价值的经验。LLaVA-1.5以其出色的多模态理解能力，向业内掀起了一股“硬刚GPT-4”的新风潮。