“暴力美学”定律面临挑战？

近期，AI领域关于“尺度定律”（Scaling Law）的讨论愈发热烈。这一核心定律在2020年由OpenAI首次提出，认为影响大模型性能的关键因素包括计算量、数据集大小和模型参数量。然而，近期OpenAI下一代旗舰模型Orion（或称GPT-5）的发布，引发了人们对该定律有效性的质疑。

根据报道，Orion相较于现有模型的能力提升有限，甚至不如GPT-3到GPT-4的跃升，且在数据中心运行成本更高。OpenAI不得不紧急调整策略。与此同时，Google的下一代Gemini模型也遭遇困境，其性能未达到领导层预期。Anthropic也被曝暂停推进Opus 3.5的工作，官网已撤下“即将推出”字样。这些“三巨头”接连碰壁，引发人们对于“尺度定律”可能失效的担忧。

正方观点认为，尺度定律神话或许已经终结。前OpenAI首席科学家Ilya Sutskever表示，扩展训练的结果已经趋于平稳，传统的无监督Pre-training已达极限。他强调，我们需要扩大“正确”的规模，并研究全新的替代方法来扩展预训练。OpenAI和Google的研究人员正在开发新技术，如推理模型等，以弥补传统训练方法的局限性。

反方观点则认为，尺度定律尚未遇到瓶颈。Sam Altman在X平台上表示，OpenAI将在今年晚些时候发布“非常好的版本”。Suleyman在采访中也指出，模型的规模正在变大和变小，这种趋势会持续下去。他认为，未来还有很大的发展空间，数据量也将持续增长。

哈佛大学、斯坦福大学、麻省理工学院等机构的合作团队最近发表了一篇论文，提出精度在模型扩展规律中比之前认为的更加重要。研究指出，随着模型规模的不断扩大，低精度的量化或将不再有效。他们提出了一种新的精度缩放定律，并提出了预训练期间计算的最优精度。

总的来说，尽管AI领域对于“尺度定律”的有效性存在争议，但大模型的发展仍在持续。未来，我们需要关注如何在规模扩张的同时提高模型性能，并探索更多创新方法。