世界模型与数学证明助力AI系统稳定运行

人工智能领域的著名专家、深度学习三巨头之一的约书亚·本吉奥近日加入了英国高级研究与发展局（ARIA）的一个名为“受保护的人工智能”（Safeguarded AI）的项目，担任该项目的科学总监。该项目的主要目标是建立一个能够理解和降低其他AI代理风险的AI系统，以提供量化的安全保障。

约书亚·本吉奥的加入将为该项目提供有力的科学战略建议。他表示，如果你打算部署某种技术，由于AI的行为异常或误用可能导致非常严重的后果，因此需要提供充分的理由，并且最好能提供强有力的数学保证，以确保AI系统能够正常运行。

为了实现这一目标，“受保护的人工智能”项目被划分为三个技术领域，包括构建可扩展、可互操作的语言和平台，用于维护现实世界模型/规范并检查证明文件；使用前沿AI帮助领域专家构建复杂的现实世界动力学数学模型，并利用前沿AI训练自主系统；以及在关键的网络-物理操作环境中部署一个由“把关AI”保护的自主AI系统，通过量化的安全保障释放重要的经济价值。

该项目得到了英国高级研究与发展局的全力支持，后者计划投入共计5900万英镑（约合人民币5.37亿元）。约书亚·本吉奥将特别关注“支架”（Scaffolding）和“机器学习”（Machine Learning）这两个领域，并在整个项目中提供科学战略建议。此外，ARIA还将投资1800万英镑（约合人民币1.64亿元）成立一个非营利组织，领导“应用”（Applications）领域的研发工作。