GPT or Llama2 ?这是近期大模型应用层开发者们开始考虑的问题

就在7月19日,开源社区的大明星——Llama,跃升为Llama2!这款升级版的大模型是在2万亿的token上进行训练,训练数据增加了40%,可以说规模惊人!而且,Llama2在推理、编码、精通性和知识测试等许多外部基准测试中,都表现得比其他开源语言模型更加优秀!

“以前的开源大模型都没有形成像 Llama 这样的社区,而 Llama 系列模型正是在这种非常活跃的社区文化下发展起来了,这也直接造成 Llama 系列模型在很多任务上都取得了快速进展,甚至达到了商用标准。”东北大学教授肖桐这样说。

GPT-3.5 水平通常被认为是大模型商用的标准线,在 Llama2 模型 70 亿、130 亿和 700 亿三种参数变体中,700 亿的版本在 MMLU 和 GSM8K 上接近了 GPT-3.5 的水平。这意味着,作为开源大模型的代表,Llama2 第一次进入了大范围的商业考量决策之中,开发者们拥有了一个免费、开源且足够商用的大模型底座。谷歌的一位工程师在今年5月份曾在内部撰文中直言:当免费的、不受限制的替代品与闭源模型质量相当时,人们不会为受限制的模型付费。

很快,免费的开源模型走进现实。根据Meta披露的信息,Llama2 在发布的一周内就接收到了超过 15 万次的下载请求,并且仍在持续增加,Meta 对此表示“难以置信”。

开源模型与闭源模型的大战就此正式打响。面对开源大模型更低的成本、更快的迭代速度、更高的定制化上限,闭源大模型的应对策略,成为一个问题。

Llama2 还是 GPT-4——成本

选择Llama2的原因有很多,其中最直接的原因就是成本。现在,GPT-4接口的调用费用相当高昂,每1000个提示请求token就要花费0.03美元,完成响应token还要再花费0.06美元。据斯坦福大学的研究员在一份论文中估算,如果中小企业利用GPT-4来协助市场工作,每个月的成本可能会超过2.1万美元!而一家利用GPT-4辅助广告文案生成的公司也表示,它们每个月为GPT-4接口支付的成本平均超过25万美元。这样一来,选择Llama2这种成本更低、性能又不错的开源大模型,显然是个明智的选择。

一家国内AIGC应用商表示,Llama2虽然技术水平上暂时不如GPT-4,但考虑到GPT-4的高昂成本,团队还是选择了使用Llama2作为底层模型。他们通过在产业中积累的行业数据以及专注于垂直场景的输出,能够弥补一部分技术代差。

Llama2出现后,更多的公司开始转向基于Llama2进行商业化开发,而不再购买OpenAI的API。因此,在免费的冲击下,原先使用OpenAI接口的应用层公司会重新思考应该选择哪个路线,有一部分的市场或许将会被Llama2重新洗牌。

然而,这个决策并不完全是成本之上的较量。对于“较好的数据和优化是否能够弥补如今Llama2与GPT-4差距”这个问题,消极的声音占据较多数。

Llama2 还是 GPT-4——性能

东北大学教授肖桐以机器翻译场景为例指出,虽然我们可以用类似于Llama2的开源模型进行指令微调,达到不错的翻译性能,但最终会发现性能仍然受限。因为开源大模型的某些能力是在预训练阶段获得的,所以即使指令和任务明确,并且有了很多数据,也仍然难以达到GPT-4的效果。


此外,与往常的披露不同,此次Llama2开源并没有对外披露数据层的具体信息,因此复现Llama2成为一件受限制的事情,企业没有训练Llama2底层模型的权限和能力,所以它的性能很难突破,逼近GPT-4这个目标不太可能的。
一些应用开发者认为,按照此时Llama2与GPT-4的水平差距,如果全力押注Llama2,付出的代价可能同样很大。他们可能要花费大量时间在优化Prompt上,而不是专注于产品创新。


因此,在技术的绝对领先下,GPT-4仍然会持续吸引那些对效果有较高要求、在成本方面有较大空间的客户。
当然,Llama2的更大贡献不仅仅是存量市场的转移,更重要的是对整个AIGC行业增量市场的拉动。一位AIGC业内人士向机器之心表示,Llama2的开源点燃了很多应用开发者的热情,在开源后的几周时间内,许多开发者对它寄予了厚望,将它比作移动互联网黄金时期的阶段,希望能找到应用的新切入点。


正如肖桐所言,Llama2能够支持企业和团队在大模型应用层面低成本、快速地启动,打造出产品和商业模式的原型。随着围绕Llama的应用尝试越来越多,未来可能会迎来一个模型平民化的阶段,使用大模型做应用的门槛将不断降低。


在过去的几周时间内,Llama2已被接入各种平台,包括Amazon Sagemaker、Databricks、Watsonx.ai、Microsoft Azure、阿里云和百度千帆等,围绕Llama2的生态已经在慢慢形成。

Llama2 对国内大模型创业公司的碾压

在Llama2推出之前,开源社区最强的大模型Llama在商用许可上有限制,而OpenAI的接口在国内面临着不确定的监管风险。因此,相比于两者,国产大模型在市场竞争中的优势通常是“可商用”、“数据安全”以及“更好的服务支持”。
Llama2的发布削弱了国产大模型创业公司在市场上的竞争力,对那些自研大模型积累不够的公司来说,Llama2产生的冲击更大。
然而,那些认为自己短期内凭借自研能力无法超过Llama2的公司,仍有机会成为端到端的应用公司。他们可以利用自己的既有模型结合开源模型,直接向市场提供应用,并实现数据上的闭环,以不断迭代。这样,他们便可以在大模型开源生态系统中找到自己的立足之地。
Llama2的发布不仅展现了开源社区的强大技术能力,更进一步推动了开源社区的发展。随着Llama2的释出,大模型开源社区的力量已经引起了市场的广泛关注,成为了不可忽视的力量。

想要做大模型训练、AIGC落地应用、使用最新AI工具和学习AI课程的朋友,扫下方二维码加入我们人工智能交流群

发表回复