元宇宙研发新AI技术：融合语言模型与扩散式AI，提升运算效率

Meta AI公司推出了一项名为“Transfusion”的新技术，能够将语言模型和图像生成模型相结合，形成一个统一的AI系统。据团队介绍，Transfusion利用了语言模型在处理离散数据方面的优势，以及扩散模型在生成连续数据方面的能力。目前，图像生成系统通常需要使用预先训练好的文本编码器来处理输入的提示词，然后再与单独的扩散模型结合生成图像。而Transfusion则采用了单一的Transformer架构，可以同时处理文本和图像数据，并使用不同的损失函数对文本和图像进行端到端的训练。此外，Transfusion还保留图像的连续表示法，避免了信息损失，从而提高了图像生成的效率。研究人员在2万亿个文本和图像标记上训练了一个70亿参数的模型，结果表明，它在图像生成方面取得了与DALL-E 2等现有系统相似的结果，同时还可以处理文本。