TinyLlama–具有三万亿代币冲击力的迷你AI模型。图片来源：SUTD
它被称为TinyLlama，它因其强大的功能而席卷了研究界。
目前由 OpenAI 或 Google 等大型科技公司开发的 ChatGPT 或 Google Bard 等大型语言模型 （LLM） 由数千甚至数万个图形处理单元 （GPU） 管理，并要求用户在线连接到其庞大的服务器。相比之下，TinyLlama 仅基于 16 个 GPU 构建，仅占用 550MB 的随机存取存储器 （RAM）。换句话说，TinyLlama 可以很容易地部署在移动设备上，让每个人无论走到哪里都可以随身携带一个“迷你 ChatGPT”。
根据总部位于加利福尼亚州的人工智能新闻平台Marktechpost的数据，TinyLlama在常识推理和解决问题的任务中的表现凸显了小型模型在使用大量数据进行训练时实现高性能的潜力。它还为自然语言处理的研究和应用开辟了新的可能性，特别是在计算资源有限的场景中。
专注于自然语言处理研究的StatNLP研究小组主任卢教授说：“小型语言模型的重要性不容小觑，TinyLlama之所以被专门创建为开源，是因为它将允许较小的科技公司和研究实验室为各种应用程序构建和开发自己的模型，从而使语言模型民主化。作为研究人员，我们的计划是为小型语言模型奠定基础，目的是在该领域取得重大的科学进步。
“小型科技公司以及个人研究人员和开发人员对小型语言模型的要求越来越高，这些模型需要更少的资源来运行。因此，这些模型（例如TinyLlama）对他们来说更可行，并且更适合手机等边缘设备。这种模型的紧凑性也使它们能够满足需要在没有互联网连接的情况下进行实时机器翻译的众多应用。这意味着用户可以脱机访问语言模型。他们在使用时不需要将个人信息发送到服务器，通过称为’微调’的技术，我们能够进一步改进它，“卢教授补充道。
TinyLlama背后的团队——从左到右：SUTD博士生曾广涛和王天铎，副教授卢伟和研究助理张培元。图片来源：SUTD
TinyLlama 的创新方法在于其构造。它基于 Llama 2 的架构和分词器，并融合了多项最先进的技术。其中一项技术是 FlashAttention，它提高了计算效率。尽管其尺寸比其前代产品小，但TinyLlama在各种下游任务中表现出卓越的性能。它成功地挑战了模型越大越好的概念，表明当使用广泛而多样的数据集进行训练时，具有较少参数的模型仍然可以实现高水平的有效性。