MIT教授谈AI自我学习:比任务式教学更关键
OpenAI 研究科学家 Hyung Won Chung 在最近的一场演讲中阐述了他的观点:激励 AI 自我学习比试图教会 AI 每一项具体任务更重要。他认为,当前 AI 领域正处于一次范式转变,即将从传统的直接教授技能转向激励模型自我学习和发展通用技能。
Chung 指出,AI 所包含的技能太多,无法一一学习,而 AGI 的实现需要的是模型拥有通用技能。他提出了一个 token 预测的例子,说明通过大规模多任务学习,模型可以在解决数万亿个任务的通用技能的同时,学习其他技能,如耐心、学习阅读天气、了解鱼等。这些通用技能可以应用于其他任务,而不仅仅是特定的模式识别任务。
Chung 强调,虽然对于人类来说,教授技能可能更快,但是对于机器来说,算力可以大大加快这个过程。他认为,通才通常比专家更擅长特殊领域,因为大型通用模型可以通过大规模的训练和学习,快速适应和掌握新的任务和领域,而不需要从头开始训练。
他也提到了目前存在的一个误区,即人们正在试图让 AI 学会像人类一样思考。但他认为,机器应该有更多的自主性来选择如何学习,而不是被限制在人类理解的数学语言和结构中。他主张,系统或算法过于依赖人为设定的规则和结构,那么它可能难以适应新的、未预见的情况或数据。
Chung 最后指出,AI 的进步与减少人为结构、增加数据和计算能力息息相关。同时,他也提醒人们在扩展一个系统或模型的过程中,需要找出那些阻碍扩展的假设或限制条件,以便模型或系统能够在更大的规模上有效运行。