MiniGPT-4开源，一个具备图像对话能力的聊天机器人

MiniGPT-4是一个具有图像理解能力的开源聊天机器人，基于 Vicuna-13B LLM 和 BLIP-2视觉语言模型。

研究团队首先在四张 Nvidia A100显卡上用大约500万对图像文本对 MiniGPT-4进行了十个小时的训练。在第二步中，该模型使用 MiniGPT-4和ChatGPT之间的交互生成的3，500个高质量文本图像对进行了改进。ChatGPT 更正了 MiniGPT-4生成的不正确或不准确的图像描述。

关键要点:

MiniGPT-4可以描述图像或回答有关图像内容的问题，例如，它可以根据菜肴的图像生成食谱建议，或者为视障人士提供详细的图像描述。类似于Midjourney 的新“/describe”功能，MiniGPT-4可以从图像中提取提示，或者至少是一些想法。

MiniGPT-4还可以根据手绘网页草图生成匹配的 HTML 代码。研究人员称，OpenAI在 GPT-4发布时推出的备受吹捧的草图到网站功能也可以通过 MiniGPT-4完成。

Github 上提供了 MiniGPT-4的代码、演示和培训说明。他们还宣布了一个较小版本的模型，它将在单个 Nvidia3090显卡上运行。

重要性:

MiniGPT-4是开源社区在很短时间内取得快速进步的一个例子。

MiniGPT-4的发展表明，纯 AI 模型公司的护城河可能没有那么高。

评析:

OpenAI 可能会专注于使用适用于 GPT-4的 ChatGPT 插件构建合作伙伴生态系统，而不是现在训练 GPT-5。

构建聊天生态系统更具挑战性且在经济上不可持续，但会对用户产生强烈的锁定效应。

GitHub:https://github.com/Vision-CAIR/MiniGPT-4

在线体验:https://minigpt-4.github.io/