UNC斯坦福等推出通用修正器LURE 多模态物体幻觉下降23%

要点:

1. 多个大学的研究人员开发了名为LURE的通用修正器，旨在解决多模态大模型中的物体幻觉问题，降低幻觉频发的三个成因。

2. LURE通过对幻觉产生的关键因素进行统计分析，包括物体共现、不确定性和物体位置，有效减少幻觉问题。

3. LURE在多个开源多模态大模型上进行了评估，显示通用物体幻觉评估指标提高了23%以上，有效降低幻觉问题。

11月6日 消息:一项由北卡教堂山、斯坦福、哥大、罗格斯等大学的研究人员合作开发的通用修正器LURE已经面世，旨在应对多模态大模型中出现的物体幻觉问题。这些幻觉问题包括物体共现、不确定性和物体位置，这些问题会对视觉摘要、推理等任务产生负面影响。LURE的设计基于对这些幻觉产生的关键因素进行严格统计分析。

论文地址:https://arxiv.org/abs/2310.00754

代码地址:https://github.com/YiyangZhou/LURE

在研究中，研究人员首先对幻觉问题的三种成因进行了深入分析。他们发现大多数幻觉描述中的物体在训练数据中通常共现，这意味着幻觉物体往往是一起出现的物体。此外，幻觉物体通常是在解码过程中不太确定的物体，这种不确定性会导致模型选择错误的物体。最后，研究人员还观察到，幻觉通常出现在生成文本的后半部分，这可能是前面的输出触发了后续幻觉的滚雪球。

为了解决这些问题，研究团队提出了LURE，这是一种多模态幻觉缓解方案。LURE可以与任意多模态大模型无缝衔接，对不准确的描述进行纠正。在多个开源多模态大模型上进行了评估，结果显示LURE显著降低了幻觉问题，通用物体幻觉评估指标提高了23%以上。此外，LURE还经过人工评估和GPT评估，一直名列前茅，显示了其有效性。

总之，LURE是一项有望解决多模态大模型中幻觉问题的重要工具，通过对关键因素的分析和修正，为这些模型提供更准确的输出，有望在多领域的人工智能应用中产生积极影响。