UNC斯坦福等推出通用修正器LURE 多模态物体幻觉下降23%
要点:
1. 多个大学的研究人员开发了名为LURE的通用修正器,旨在解决多模态大模型中的物体幻觉问题,降低幻觉频发的三个成因。
2. LURE通过对幻觉产生的关键因素进行统计分析,包括物体共现、不确定性和物体位置,有效减少幻觉问题。
3. LURE在多个开源多模态大模型上进行了评估,显示通用物体幻觉评估指标提高了23%以上,有效降低幻觉问题。
一项由北卡教堂山、斯坦福、哥大、罗格斯等大学的研究人员合作开发的通用修正器LURE已经面世,旨在应对多模态大模型中出现的物体幻觉问题。这些幻觉问题包括物体共现、不确定性和物体位置,这些问题会对视觉摘要、推理等任务产生负面影响。LURE的设计基于对这些幻觉产生的关键因素进行严格统计分析。
![](https://i.zz5.net/images/article/2023/11/06/150724011.png)
论文地址:https://arxiv.org/abs/2310.00754
代码地址:https://github.com/YiyangZhou/LURE
在研究中,研究人员首先对幻觉问题的三种成因进行了深入分析。他们发现大多数幻觉描述中的物体在训练数据中通常共现,这意味着幻觉物体往往是一起出现的物体。此外,幻觉物体通常是在解码过程中不太确定的物体,这种不确定性会导致模型选择错误的物体。最后,研究人员还观察到,幻觉通常出现在生成文本的后半部分,这可能是前面的输出触发了后续幻觉的滚雪球。
为了解决这些问题,研究团队提出了LURE,这是一种多模态幻觉缓解方案。LURE可以与任意多模态大模型无缝衔接,对不准确的描述进行纠正。在多个开源多模态大模型上进行了评估,结果显示LURE显著降低了幻觉问题,通用物体幻觉评估指标提高了23%以上。此外,LURE还经过人工评估和GPT评估,一直名列前茅,显示了其有效性。
总之,LURE是一项有望解决多模态大模型中幻觉问题的重要工具,通过对关键因素的分析和修正,为这些模型提供更准确的输出,有望在多领域的人工智能应用中产生积极影响。
- 0000
- 0000
- 0001
- 0000
- 0000