由上海人工智能实验室（上海AI实验室）、中国科学技术大学、香港大学及香港中文大学联合提出的缓解多模态大模型幻觉解码方法OPERA，受到学术界广泛关注，相关成果论文入选本届CVPR Highlight名单。
联合团队在研究中发现“过度信赖”（Partial Over-Trust），可能为当前大模型产生幻觉的一大“元凶”，并提出了OPERA解码方法。基于注意力惩罚与回退策略，OPERA可在不借助外部知识并不引入额外训练的情况下，缓解多模态大模型的幻觉问题，更有易于在不同模型和架构上部署。
https://arxiv.org/abs/2311.17911https://github.com/shikiw/OPERA
自多模态大模型诞生以来，模型幻觉（Hallucination)一直是困扰研究者和用户的重要问题。这一现象，在模型生成较长回答时尤为常见。当多模态大模型应用在自动驾驶等重要领域，幻觉情况的出现或将导致严重后果产生。例如LLaVA-1.5的7B模型在描述图中的食物时，一开始会表达得较为准确，但随着回答越来越长会说出许多“不存在”的事物。对于多模态大模型中幻觉问题的成因，研究者们至今仍未找到确切答案。为了解决这一问题，部分研究方法涉及构建额外的训练数据，并将其融入到训练过程中；而另一些方法则依赖于外部知识或强大的模型来进行辅助。然而，这些方法通常会带来巨大的额外成本，且未对幻觉的机制与由来进行深入分析。为此，联合团队从可视化模型在推理时的“自我关注”（Self-Attention）权重出发，希望探寻模型幻觉存在原因及对应解决策略。研究发现，当模型生成幻觉内容时，最后一层的Self-Attention权重会在幻觉出现前前呈现出明显的“柱状”特征，这导致幻觉部分的Self-Attention权重表现出一种“过度信赖”（Over-Trust）趋势。以多模态大模型InstructBLIP为例，如下图所示，在幻觉句子出现之前，存在一个Token，其对后续所有Token都具有较高的注意力权值。“柱状”特征究竟为何？研究人员认为，这种现象可能是多模态大模型在生成较长语句时展现的一种“自动总结”本能，这些“柱状”特征所对应的Token正是模型推理过程中的Summary Token。由于现有多模态大模型的基座普遍为大语言模型，其因果语言模型的特点使其在浅层时将前文Token的信息聚合到Summary Token，同时在深层时主要利用Summary Token中聚合的信息来预测整个序列的下一个Token（见下图图a）。这一现象类似于人类在处理长文本时经常使用的阶段性总结习惯，有助于更高效地处理大量信息。为解答此类机制如何使多模态大模型产生幻觉这一问题，研究人员先让多模态大模型根据给定的图作出较长的回答，再根据各个Summary Token出现的不同位置，将模型的回答划分为不同的子句，并且计算每个子句的CHAIR指标，评估子句中出现幻觉内容的程度。CHAIR值越高代表幻觉程度越严重。如上图图b、c，随着序列中Summary Token数量的增多，子句的幻觉程度也在逐渐提升。这表明，在序列中出现越多Summary Token，会越容易让模型输出幻觉内容。对此，联合团队基于信息流认为，在生成的文本序列越来越长的同时，位于序列前段的Vision Tokens所提供的视觉信息会在Summary Token之间信息流动的过程中逐渐被稀释。因此，越往后生成的Token越容易忽视Vision Tokens，并“过度信赖”某些Summary Tokens，从而产生幻觉内容。研究人员将这一现象描述为“Partial Over-Trust”，并发现大模型的这种阶段性总结可能是导致幻觉问题的一大“元凶”。同时，研究人员进行了数值统计，在不同模型中都观察到了这一现象与幻觉之间的相关性（如下图所示）。联合团队通过随机采样100张图像，并向不同的多模态大模型提出问题。发现在所有出现幻觉回答的情况下，有80%-90%的回答都呈现出了“过度信赖”现象，进一步证实了这一现象与幻觉之间的伴生关系。针对“过渡信赖”原因，联合团队提出了一种名为OPERA的解码方法，基于注意力惩罚与回退策略，在不借助外部知识并不引入额外训练的情况下缓解了多模态大模型的幻觉问题。在经典解码方法Beam Search的基础上，联合团队首先在解码过程中对每个Token的输出概率引入了一个额外的惩罚项，来惩罚其出现“过度信赖”的注意力特征。研究人员首先在自注意力的权重图上划分出一个局部窗口，将这些权重进行数值放大，同时使用列乘法得到一个得分向量，并得分向量中的最大得分作为惩罚得分。惩罚得分大小表明生成内容中“过度信赖”特征的明显程度。最后阶段，惩罚得分的作用会体现在每个序列的Beam得分上，得分较低的序列最后将被淘汰。“过度信赖”的特征具有“滞后性”，即只有在解码的过程中输出了若干Token之后才能发现此类特征。为解决滞后性带来的局限，联合团队还提出了“回退-再分配”的策略，即计算最近Token得分向量的最大值下标，并检查该下标连续出现的次数是否大于一定阈值。若高于阈值，则将当前序列的解码过程回退到这一下标所在的Token位置，并重新选择词表中的高频词（除已选词外）。为验证OPERA在缓解模型幻觉上的能力，研究人员使用InstructBLIP、MiniGPT-4、LLaVA-1.5及Shikra等多种多模态大模型的7B版本进行测试。结果显示，相较于此前的解码方法，OPERA解码方法在缓解模型幻觉方面优势显著。
研究人员还引入了GPT-4和GPT-4V进行打分测试，在生成内容的准确程度与具体程度上，OPERA同样也表现出优越的性能。与此同时，使用OPERA能够帮助LLaVA-1.5等多模态大模型成功在MME、MMBench等评测集中提升评测成绩。如下图所示，相较其他解码方法，使用OPERA的LLaVA-1.5-7B模型取得了最高评测成绩。