平民版 GPT-2 诞生：AI 总监 24 小时仅花 672 元

近年来，人工智能领域的发展日新月异，其中深度学习技术尤为引人注目。特斯拉的 AI 总监兼 OpenAI 联合创始人安德烈·卡尔帕奇（Andrej Karpathy）近日透露，通过使用一种名为 llm.c 的工具，重现了 GPT-2 模型所需的成本从每小时 256 美元降低至 28 美元。这一成果将有助于推动 AI 技术的普及与创新。

据悉，llm.c 项目最初是为了制作教育视频而创建的，后来演变成卡尔帕奇解决 PyTorch 相关问题的全新尝试。该项目利用了单个 8XH100 节点的训练方式，大大降低了训练成本。用户只需启动一个云 GPU 节点，安装适当的 NVIDIA cuDNN 和 NCCL/MPI 等依赖项，下载 .bin 数据分片并进行编译，短短几分钟就可以开始训练。在经过 24 小时的等待后，即可得到关于“安第斯山脉中会说英语的独角兽”的相关样本。

尽管硬件、软件和训练数据的进步使得 GPT-2 模型训练变得更加高效，但卡尔帕奇指出，尖端 AI 模型的开发成本依然居高不下。例如，Anthropic 公司的首席执行官迪亚戈·阿莫埃伊（Dario Amodei）近期表示，未来几年内，某些 AI 模型的训练成本可能会上涨至 10 亿美元甚至更高。同时，随着硬件性能的提升，相关成本也在不断攀升。以英伟达 H100 芯片为例，其单价已达 4 万美元，而下一代 Blackwell AI 芯片的价格预计将达到 7 万美元。

值得注意的是，虽然当前 AI 模型的智能水平尚无法与人类相媲美，但谷歌 Deepmind 的首席执行官马斯克（Elon Musk）曾表示，随着技术的不断发展，这些模型的智商有望在未来实现质的飞跃。不过，要想真正实现人工智能的广泛应用和普及，仍需克服诸多挑战，如降低训练成本、提高模型效率以及确保数据安全等。