大模型技术转向应用:MoE成新宠

近年来,AI大模型在全球范围内引发了一场浪潮,众多科技企业纷纷布局该领域。随着AI技术的飞速发展,AI已经从“卷”技术迈向了“卷”应用的新阶段。预计到了2024年,生成式AI企业应用将迎来落地的高潮。然而,AI大模型的广泛应用也带来了诸如算力需求、模型复杂度等问题。因此,如何提高模算效率,降低企业应用AI的成本门槛,已成为业界亟待解决的难题。

浪潮信息的人工智能首席科学家吴韶华指出,在当前的背景下,提高算力效率、降低模型消耗显得尤为重要。他进一步阐述了模算效率的概念,即在保证模型性能的前提下,尽可能减少算力消耗。为此,吴韶华提出了一种基于MoE(混合专家模型)架构的开源大语言模型——M32。相较于传统稠密模型,M32能在远少于其所需的计算资源下达到相当的质量水平,同时算力消耗仅有后者的1/19。

值得注意的是,MoE架构已逐渐成为大模型产品的主流架构之一,越来越多的企业和研究机构开始采用这一技术。例如,OpenAI的GPT-4、谷歌的Gemini、Mistral AI的Mistral等主流大模型均采用了MoE架构。这一技术不仅提高了模型的可扩展性和计算效率,还具备灵活性和专业化等特点,使其非常适合在企业场景中应用。

此外,为了应对大模型在企业应用中可能出现的幻觉问题,业内已有多家企业和研究机构采取了一系列措施,如微调数据、知识图谱等方法来提高模型精度。在此基础上,浪潮信息和IBM等公司纷纷加大在企业大模型产品研发和平台化方面的投入,以期为企业提供更便捷、高效的大模型解决方案。

总之,随着AI大模型技术的发展和企业应用需求的增加,提高模算效率和降低成本已成为行业的关键趋势。在这一背景下,MoE架构凭借其在可扩展性、计算效率等方面的优势,正逐步成为企业应用大模型的首选技术方案。

发表回复