GPT开放订阅,AI界”石油危机”解决了?
众人拾柴火焰高。北京时间12月14日凌晨,OpenAI的CEO Sam Altman在Twitter上发布了一条推文,宣布重新开放ChatGPT Plus新用户订阅。据Altman表示,原因是OpenAI已经找到更多的GPU。而仅一个月前,Altman曾宣布暂停ChatGPT Plus新用户订阅,并称其原因为开发日后使用量激增超出了承受能力,希望确保每个人都有良好体验。
然而即便对于备受关注的OpenAI来说也并非易事。顶级GPU或算力早就成为科技公司争夺资源和吸引顶尖研究人员的法宝,英伟达H100 GPU储备第二多的Meta公司就将大量H100作为招聘策略之一。
可以理解网友们再次感叹:“GPU是新石油”。然而算力限制仍未解除核心问题在于大模型训练、推理严重依赖英伟达高端GPU, 而英伟达则面临台积电先进芯片制造工艺、封装工艺以及韩国HBM内存产能等方面限制。
可以说算力仍旧不足,供需矛盾尖锐。这不仅是OpenAI一家公司的问题,整个AI行业都在面临这样的危机。但现在OpenAI重新开放ChatGPT Plus订阅,是否意味着行业已经摆脱了算力短缺的困境?
并非如此。始终没有明确说明所谓”找到”是指从英伟达购买更多GPU,还是得到微软等幕后支持,或者购买了AMD最新一批AI芯片Instinct MI300X.然而至少可以确定的是,算力市场正在发生变化。
谷歌DeepMind CEO Demis Hassabis代表Gemini团队推出了全新一代多模态大模型Gemini, 具有强大的视觉和听觉能力以及学习和推理能力。而值得注意的是,在基于英伟达高端GPU训练出来的大型模型中,Gemini Ultra 是唯一一个完全基于自研AI芯片TPU训练出来参数超过万亿级别的大模型。
TPU v5p集群虽然单块性能远不及H200、H100等英伟达产品,但对于人工智能基础设施来说整个系统性能比单块芯片重要.因为在大模型训练、推理中,单块芯片计算完成后需要进行通信,但由于通信效率限制往往无法全部传输,这使得一部分算力被浪费.英伟达在推广上的成功不仅源于成熟的CUDA生态系统,还因为NVLink和NVSwitch等通信技术可实现芯片集群的最大算力。
然而谷歌自研TPU最初就是用于全球数据中心,因此注重多芯片互连技术。谷歌并未公开Gemini使用TPU的数量,强调动用了至少一个集群甚至一个数据中心。除此之外, Salesforce和Lightrick等客户已经开始使用Google Cloud上的 TPU v5p超级计算机来训练大规模模型。
而微软在11月举办的Ignite大会发布了自家AI芯片Maia;亚马逊也在同月举行re:Invent大会上发布了自家AI芯片AWS Trainium2.虽然目前亚马逊、微软还没有基于其自有AI芯片训练出来的深度学习模型,更多情况下主要用作推理运行。不过, AI 独角兽Anthropic宣布将基于Trainium2构建其未来模型。
与此同时,在今年初Advancing AI大会上,AMD正式推出高端GPU Instinct MI300X。此举得到了谷歌、亚马逊、微软、OpenAI,甲骨文等公司的支持。尽管相对于英伟达的CUDA生态系统而言,AMD ROCm仍有差距,但借助整个行业对其备胎芯片的需求增加, AMD紧随其后. AMD CEO苏姿丰今年早期曾表示在快速发展的AI芯片市场中不再看重”护城河”
除了这些重量级公司之外,微软和Meta也承诺购买MI300X以满足他们的AI计算需求.据供应链传闻显示,为此微软还提前取消了部分已经预定给NVIDIA 的订单.
著名计算机科学家戴维·柯克(David Kirk)一直梦想着将主要服务于图像渲染的GPU通用化以转变为通用算力中心。如今,CUDA早已成为现实,并非一蹴而就是因为英伟达CEO黄仁勋多年来坚定投入,CUDA才得以实现.从游戏到科研再到区块链挖矿,元宇宙和生成式人工智能,NVIDIA始终致力于找寻CUDA和GPU算力未来的出口和发展。2016年他将首台AI超级计算机DGX-1赠送给刚成立不久的OpenAI。
众所周知,在ChatGPT推出之前,NVIDIA数据中心收入已经超过了游戏业务。而且随着ChatGPT在全球科技行业引起轰动, 数据中心业务得到进一步提升,这使得其完全压倒来自游戏玩家的收入。
但是王者地位并非永恒。大型模型兴起产生了巨大的计算需求,英伟达高端GPU几乎成为全球科技公司争夺资源的首选目标。然而一家公司无法满足全球市场(尤其是中美市场)对人工智能算力持续增长和不断变化的需求; 其次,从风险控制和成本角度考虑, 大公司长期来看都不会愿意把鸡蛋放在一个篮子里.
最后,供应市场从未缺少竞争者,并非只有一个赢家.至少苏妈就认为“这个市场将会有多个赢家”。
与英伟达相比另一个芯片巨头博通也是大型模型潮流背后幕后赢家.此外还有谷歌等云计算巨头试图垂直一体化,从底层芯片到训练框架的自主研发。而与此同时,英伟达单靠一个公司难以满足全球持续增长和不断变化的算力需求,AMD、谷歌、微软、亚马逊以及其他公司加入进来将会彻底改变供给情况,提供更强大且更廉价的算力,这才可能真正使大型模型成为”社会基础设施”。
对于黄仁勋来说,他是否乐见这样的变化很难说。然而至少在送出那台赠给OpenAI的超级计算机时,他在上面写下了一句话:”为了计算和人类的未来, 我向你们奉上世界上第一台DGX-1″.