上海交大揭示AI大模型之谜

上海交通大学王德泉教授课题组开展了一项研究，旨在揭示多模态大模型在处理自相矛盾指令时的表现。研究人员设计了一套名为“自相矛盾指令集”（Self-Contradictory Instruction Set, SCI）的基准测试，以评估多模态大模型检测冲突指令的能力。这一测试涵盖了2万个自相矛盾指令和8个任务，分别应用于语言-语言和视觉-语言两种范式。

在语言-语言范式中，指令与上下文之间可能存在诸如规则冲突、对象属性冲突、排他性指令和禁止词汇等矛盾。而在视觉-语言范式中，多模态冲突包括OCR文字识别冲突、图表冲突、几何冲突和语义冲突等。这些任务要求模型在处理指令时，能够准确地区分自相矛盾和不矛盾的情况。

为解决大模型在处理自相矛盾指令时的不足，研究人员提出了一种名为“认知觉醒提示”（Cognitive Awakening Prompting, CAP）的方法。通过在输入中加入一句简单的提示，可以从外部世界向大模型注入认知能力，进而提高其在检测自相矛盾指令方面的能力。研究人员强调，CAP方法几乎不影响大模型的原始性能，且有助于提升其在面对自相矛盾问题时的一致性和稳定性。

基于SCI数据集，研究人员对当前多模态大模型在处理自相矛盾指令时的表现进行了全面的评估。实验结果显示，现有的多模态大模型在面对自相矛盾指令时，普遍存在一定的缺陷。这些缺陷主要体现在模型缺乏对指令合理性的评估能力，即所谓的“认知”能力。这可能是由于大模型缺乏自我意识，无法识别指令中的不一致性。

综上所述，本研究表明，在多模态大模型的发展过程中，如何提高其应对自相矛盾指令的能力仍然是一项重要的课题。研究人员提出的CAP方法为进一步改进大模型在这一方面的表现提供了有益启示。