Whisper语音转写存缺陷:生成虚假内容

10月28日,据美联社报道,业内多名软件工程师、开发人员以及学术研究人员揭露,OpenAI开发的语音转写工具Whisper存在一个严重缺陷:该工具有时会自动生成大量不存在的虚假内容。这些研究人员指出,这些生成的文本可能包含种族歧视言论、暴力言辞,甚至错误的医疗建议。这一发现尤其令人担忧,因为Whisper已被广泛应用于全球多个领域,包括用于翻译、访谈内容转录、消费科技文本生成以及视频字幕制作等。更为严重的是,尽管OpenAI已明确指出该工具不适用于“高风险领域”,但仍有医疗机构在匆忙中采用基于Whisper的工具来记录医患咨询。

报道显示,研究人员和工程师在日常工作中发现Whisper的“幻觉”现象频繁发生,但具体问题的规模尚不得而知。例如,密歇根大学的一位研究员在研究公共会议时发现,在尝试改进模型之前,他检查的十份音频转录中,有八份存在虚构内容。一位机器学习工程师透露,在他分析的超过100小时的Whisper转录中,大约一半的内容都出现了“幻觉”现象。还有一位开发人员指出,在他用Whisper生成的26000份转录中,几乎每一份都存在虚构内容。即便是音质较好的简短音频样本,也无法避免这些问题。计算机科学家们的研究也发现,在他们审查的超过13000段清晰音频片段中,有187段出现了“幻觉”现象。研究人员推测,在数百万条录音中,可能存在数以万计的错误转录。

OpenAI的发言人表示,公司正在持续研究如何减少“幻觉”现象,并对研究人员的发现表示感谢。他们承诺将在模型更新中采纳研究者的反馈,以进一步提高Whisper的准确性和可靠性。

发表回复