Meta开源轻量级AI模型：MobileLLM系列助手机应用

11月8日，科技巨头Meta宣布，其研发的智能手机专用小语言模型MobileLLM家族现已正式开源，并新增了600M、1B和1.5B三种不同参数版本的模型。IT之家为您附上项目GitHub链接，方便您了解相关信息（点击访问）。

据悉，MobileLLM模型家族的设计理念是将人工智能的强大功能带入智能手机，实现高效与性能的平衡。该模型采用精简架构，并引入了“SwiGLU激活函数”和“分组查询注意力”机制，有效提升了运行效率。Meta研究团队透露，在配备32颗Nvidia A100 80G GPU的服务器上，他们仅用了18天时间便完成了1.5B参数量模型的训练，而125M版本的模型仅需3天即可完成。

训练成果方面，MobileLLM的125M和350M版本在零样本常识理解任务上的准确率分别领先Cerebras、OPT、BLOOM等SOTA模型2.7%和4.3%。此外，当将MobileLLM-1.5B与其他参数量更大的模型进行对比时，其表现同样出色，领先于GPT-neo-2.7B、OPT-2.7B、BLOOM-3B、Qwen 1.5-1.8B等众多模型。这一成果再次证明了Meta在人工智能领域的创新能力与实力。