“预训练AI时代渐行渐远，Sutskever展望新篇章”

在最近举办的NeurIPS 2024会议上，人工智能领域的著名专家Ilya Sutskever发表了精彩的演讲。尽管他的演讲时长不足15分钟，但内容丰富，引人深思。Sutskever提出了一系列预测和观点，其中最引人注目的是他对预训练时代终结的判断，以及对超级智能未来的展望。

回顾过去十年的技术发展，Sutskever回顾了深度学习从萌芽到成熟的历程。2014年，在蒙特利尔，Sutskever及其团队（包括Oriol Vinyals和Quoc Le）首次提出了深度学习的基本理念，这一理念成为了AI领域的基石。Sutskever在演讲中展示了当时的一张PPT，详细阐述了他们通过自回归模型、大型神经网络和大数据集的结合，实现了深度学习的关键突破。

在谈到深度学习的假设时，Sutskever强调了一个核心观点：如果一个神经网络拥有10层，理论上它能够在短时间内完成人类可以做到的任何事情。这一假设基于人工神经元与生物神经元之间的相似性，为深度学习研究提供了强有力的支持。

Sutskever还介绍了自回归模型的核心思想，即通过训练模型预测序列中的下一个token，当模型预测足够准确时，就能捕捉到整个序列的正确分布。这一思想为后来的语言模型奠定了基础，尤其是在自然语言处理领域的应用。

然而，Sutskever也指出了深度学习研究中的一些误区。例如，尽管LSTM在Transformer出现之前为神经网络提供了强大的能力，但其复杂性和局限性也显而易见。此外，当时的研究者通过在每个GPU上运行一层网络实现了并行化，虽然在当时提高了3.5倍的速度，但现在看来并非最佳选择。

Sutskever认为，规模假设是深度学习成功的关键。这一假设指出，拥有庞大数据集和足够大的神经网络，成功几乎是可预见的。这一观点已成为深度学习领域的核心法则。

面对预训练时代的终结，Sutskever预测，随着计算能力的提升和算法的进步，神经网络训练效率得到提高，但数据的增长已接近瓶颈。他认为，数据是AI的“化石燃料”，随着全球数据的限制，人工智能将面临数据瓶颈。

针对未来的发展方向，Sutskever提到了“代理”和“合成数据”的概念。他认为，代理系统（能够自主推理和决策的人工智能）和合成数据（通过模拟环境创造新的数据）将是突破预训练瓶颈的关键。

Sutskever进一步指出，未来的AI将在推理和决策方面展现出更加不可预测的能力。他推测，未来的AI将不仅仅是执行任务的工具，而会发展成为具有自主推理和决策能力的“代理”，甚至可能具备某种形式的自我意识。这将标志着AI从人类延伸到独立智能存在的质的飞跃。

总之，Sutskever的演讲为我们描绘了人工智能发展的未来图景，让我们对AI的未来充满期待。