近日,Google DeepMind 团队发布了一项最新研究成果,揭示人工智能在推理过程中的局限性。研究发现,即使是当前热门的语言模型(LMs),在处理与已有知识或信念相符的信息时,推理表现更加准确和自信,而在处理与这些知识或信念相悖的信息时,推理可能会出现偏差或错误,这种现象被称为“内容效应”。同时,人类存在两种推理系统:“直觉系统”和“理性系统”,在推理过程中容易受到已有知识和经验的影响。
研究人员通过比较 LMs 和人类在自然语言推理(NLI)、判断三段论(Syllogisms)的逻辑有效性和 Wason 选择任务三种推理任务上的表现,发现无论是人类还是 LMs ,在处理这些任务时,都容易受到语义内容合理性和可信度的影响。这一现象表明,即使是在处理自然语言方面表现出色的 AI 系统,在涉及复杂逻辑推理时,也需要谨慎使用。
在自然语言推理任务中,LMs 和人类在面对语义合理的句子时,都容易出现错误判断。例如,尽管前提和结论之间的逻辑关系错误,但由于前提句子的合理性,LMs 和人类都容易将其判断为正确。在判断三段论逻辑有效性任务中,尽管语言模型在处理自然语言方面表现优异,但仍容易受到语义内容的影响,导致错误判断。在 Wason 选择任务中,LMs 和人类也容易选择没有信息价值的卡片,而不是那些能真正验证规则的卡片。
总之,尽管语言模型在推理任务方面与人类表现相差不多,甚至在涉及语义内容的推理任务中,错误率较低,但仍暴露出其在推理过程中的局限性。为了改进 AI 推理能力,研究人员建议可以通过因果操纵模型训练来减少内容偏见,并评估这些偏见是否在更类似人类语言数据的规模下仍然出现。此外,还需研究教育因素对模型推理能力的影响,以及不同训练特征如何影响内容效应的出现。