MIT 提出新方法：高效校准 AI 模型

人工智能助手

7月31日，随着人们越来越依赖大型语言模型处理各种任务，如翻译、摘要和金融诈骗识别等，这些模型展现出了惊人的能力。然而，它们有时会产生错误的答案，导致用户对这些模型的可靠性产生怀疑。为了解决这个问题，麻省理工学院（MIT）的研究人员提出了一种名为“温度计”的校准方法，旨在帮助大型语言模型提高准确性并降低用户的疑虑。

据MIT新闻报道，该方法的原理是在大型语言模型之上构建一个小型的辅助模型来进行校准。与传统的校准方法相比，“温度计”所需的计算能力较低，同时保持了模型的准确性。通过针对各种任务对大型语言模型进行高效校准，研究人员开发的“温度计”技术可以找出模型对错误预测过于自信的情况，从而避免用户在可能失败的情况下部署该模型。

研究人员还开发了一种称为“温度缩放”的技术，利用经典校准方法对大型语言模型进行新任务的校准。在这个背景下，“温度”是一个缩放参数，用于调整模型的“信心”以与其预测准确性一致。研究人员训练了一个辅助模型，该模型在大型语言模型之上运行，自动预测校准新任务所需的“温度”。

“温度计”只需要访问大型语言模型内部的一个小部分，就能预测出特定任务数据点的正确“温度”，从而实现对新任务的校准。这项研究的团队希望未来使“温度计”能够支持更复杂的文本生成任务，并将该技术应用于更大型的语言模型。