微软推出AI幻觉检测利器

微软推出Azure AI内容安全功能：Groundedness Detection助力避免AI幻觉

近日，科技媒体报道The Decoder发表了一篇关于微软在Azure AI Content Safety中推出Groundedness Detection的专题文章。这一功能旨在帮助用户识别并纠正AI生成的虚假或误导性信息，降低幻觉的风险。

据悉，Groundedness Detection功能借鉴了心理学中关于幻觉的概念，通过比较AI输出内容与原始数据文件，识别出缺乏依据或存在误导性的信息。尽管该功能有助于提高生成内容与原始材料之间的一致性，但微软明确表示，其并非绝对准确的保障措施。

具体而言，当系统检测到一个支持不足的语句时，会触发一个新的请求，由较小的人工智能模型对句子进行评估和修正。如果一个句子不包含基础文档中的相关信息，将被完全过滤；而如果包含部分相关内容，模型将尝试对其进行调整，使其符合原始数据。

本文提供的官方介绍视频中，微软展示了Groundedness Detection功能的具体操作流程。然而，值得一提的是，这一工具并非完美无缺，它只能提高生成内容与原始材料之间的一致性，而不能确保完全准确。在使用过程中，仍需谨慎对待其识别结果。

总之，微软Azure AI Content Safety中的Groundedness Detection功能为避免AI幻觉提供了一种有效的解决方案。通过不断优化和完善，有望在未来为广大用户提供更加可靠、安全的AI服务。