Zamba2-mini模型发布：12亿参数，内存占用仅700MB

Zyphra 推出 Zamba2-mini 1.2B 模型，实现端侧小型语言模型效率及性能的新突破

近日，AI 领域知名公司 Zyphra 宣布推出 Zamba2-mini 1.2B 模型，这是一款具有 12 亿参数的小型语言模型，被认为在 4bit 量化下内存占用低于 700MB，实现了在端侧 SOTA 小语言模型的新突破。

Zamba2-mini 1.2B 模型在推理任务中表现尤为出色，与现有的大型语言模型相比，其首次令牌时间减少了一半，内存占用降低了 27%。这款模型采用了高度优化的架构，将不同神经网络设计的优势融为一体，既能保证大型密集变压器的高质量输出，又能以更小的模型实现高效的计算和内存使用。此外，Zamba2-mini 还采用了双层共享注意力机制，以及旋转位置嵌入技术，进一步提升了模型性能。

这款模型在 Zyphra 公司内部的海量数据集上进行了预训练，该数据集包含了三万亿个 token，经过严格的过滤和重复处理，保证了数据的质量和准确性。Zyphra 公司承诺将 Zamba2-mini 模型作为 Apache 2.0 许可的开源模型，为广大开发者提供便利。

总体而言，Zamba2-mini 1.2B 模型的推出，为端侧小型语言模型带来了全新的高效性和性能，有望推动人工智能技术在移动设备上的广泛应用。