近日，人工智能领域的研究团队OpenAI公开了一份名为《Scaling Monosemanticity》的研究报告，旨在揭示GPT-4等大规模语言模型背后的内在机制。该研究的主要贡献是由OpenAI超级对齐团队的成员共同完成，包括论文第一作者Ilya Sutskever等人。
一直以来，大规模语言模型神经网络的内部工作原理都是一个“黑盒子”，难以彻底理解。因此，研究人员试图通过寻找对神经计算有用的基本构建模块，来理解模型的内在思维过程。为此，研究人员引入了一种被称为稀疏自编码器（SAE）的技术，通过对模型的内部表征进行重构，以期达到理解模型的目的。然而，传统的SAE训练方法在大规模扩展时存在一些问题，例如重建与稀疏性的权衡、潜在单元（latent）的失活等。
针对这些问题，OpenAI超级对齐团队提出了一种新的SAE训练技术栈，即基于TopK激活函数的新稀疏自编码器（SAE）。这一方法在均方误差（MSE）与L0评估指标上表现出色，同时在大规模训练中几乎不会产生失活的潜在单元。研究人员使用了GPT-2 small和GPT-4系列模型的残差流作为SAE的输入，通过ReLU自编码器架构编码器，并使用TopK激活函数替代传统的L1正则项。
在实验中，研究人员训练了一个具有1600万个潜在单元的稀疏自编码器，并对GPT-4模型的激活进行了处理。结果显示，该方法在重建质量和稀疏性之间取得了良好的平衡，同时保持了较低的失活率。此外，研究人员还提出了一些新的评估自编码器质量的方法，包括下游损失、探测损失、可解释性和剔除稀疏性等。
尽管该研究表明稀疏自编码器在理解大规模语言模型内在思维方面的有效性，但仍有一些挑战有待克服。研究人员表示，未来将继续探索更好的方法来理解模型的行为，以便更好地改进和优化语言模型的性能。