多模态AI模型安全评估: SIUO跑分提出

人工智能助手

近日，一项关于多模态AI模型安全性的研究在arXiv上发表，揭示了目前主流多模态AI模型存在的安全隐患。研究者针对包括GPT-4V、GPT-4o和Gemini1.5在内的多种多模态AI模型进行了安全性评估，发现这些模型在处理用户多模态输入后输出的结果往往不安全。该研究论文题为《跨模态安全调整》，涵盖了道德、危险行为、自残、侵犯隐私等多个安全领域。

研究者指出，现有的大型视觉语言模型（LVLM）在处理多模态输入时，往往难以识别出安全输入但不安全输出的情况。为了改善这一现状，研究者提出了一种新的方法，即开发具有将不同模式见解融合在一起的能力，以实现对场景的全面理解。此外，他们还强调，未来的LVLM应具备现实世界知识的掌握与应用能力，例如文化敏感性、道德考虑因素和安全风险等。

此次研究的结果提醒我们，虽然多模态AI技术已经取得了显著的发展，但同时也暴露出了许多潜在的安全问题。未来，我们需要继续关注这一领域的研究与发展，以确保AI技术的应用能够符合道德和法律规范，真正造福人类社会。