平民版 GPT-2 诞生:AI 总监 24 小时仅花 672 元

近年来,人工智能领域的发展日新月异,其中深度学习技术尤为引人注目。特斯拉的 AI 总监兼 OpenAI 联合创始人安德烈·卡尔帕奇(Andrej Karpathy)近日透露,通过使用一种名为 llm.c 的工具,重现了 GPT-2 模型所需的成本从每小时 256 美元降低至 28 美元。这一成果将有助于推动 AI 技术的普及与创新。

据悉,llm.c 项目最初是为了制作教育视频而创建的,后来演变成卡尔帕奇解决 PyTorch 相关问题的全新尝试。该项目利用了单个 8XH100 节点的训练方式,大大降低了训练成本。用户只需启动一个云 GPU 节点,安装适当的 NVIDIA cuDNN 和 NCCL/MPI 等依赖项,下载 .bin 数据分片并进行编译,短短几分钟就可以开始训练。在经过 24 小时的等待后,即可得到关于“安第斯山脉中会说英语的独角兽”的相关样本。

尽管硬件、软件和训练数据的进步使得 GPT-2 模型训练变得更加高效,但卡尔帕奇指出,尖端 AI 模型的开发成本依然居高不下。例如,Anthropic 公司的首席执行官迪亚戈·阿莫埃伊(Dario Amodei)近期表示,未来几年内,某些 AI 模型的训练成本可能会上涨至 10 亿美元甚至更高。同时,随着硬件性能的提升,相关成本也在不断攀升。以英伟达 H100 芯片为例,其单价已达 4 万美元,而下一代 Blackwell AI 芯片的价格预计将达到 7 万美元。

值得注意的是,虽然当前 AI 模型的智能水平尚无法与人类相媲美,但谷歌 Deepmind 的首席执行官马斯克(Elon Musk)曾表示,随着技术的不断发展,这些模型的智商有望在未来实现质的飞跃。不过,要想真正实现人工智能的广泛应用和普及,仍需克服诸多挑战,如降低训练成本、提高模型效率以及确保数据安全等。

发表回复