AI系统遭受恶意攻击后崩溃：Nature封面揭示真相

人工智能领域的研究人员近日在Nature杂志上发表了一篇关于大型语言模型（LLM）的论文，引发广泛关注。研究发现，如果在训练过程中不加区分地使用AI生成的数据，模型可能会出现严重的“模型崩溃”问题。

论文指出，如今的LLM已经广泛应用于在线文本和图像的生态系统，但如果网络上的大部分文本都是由AI生成的，那么用这些数据训练出的LLM模型，其可信度和实用性将会受到严重影响。

研究人员发现，这种情况类似于近亲繁殖，可能导致后代质量低下。具体来说，LLM生成的数据就像是一种“投毒”，会对原始数据分布的尾部造成损害，使模型出现不可逆转的缺陷。

目前，许多LLM模型仍然主要依赖人类生成的文本进行训练。然而，随着越来越多的人机交互场景的出现，越来越多的文本数据将由AI自动生成。因此，如何解决这一问题，避免LLM出现“模型崩溃”，已成为当下亟待解决的问题。

论文的作者呼吁，为了确保LLM的可信度和实用性，应该对AI生成的数据进行严格筛选和过滤。同时，也可以探索和研究更鲁棒、可靠的训练算法，以确保LLM的训练质量和效果。