随着 ChatGPT、Bard 等聊天机器人流行,并出产许多以 AI 生成的内容,目前学界开始找寻能检测出机器生成文本的方法。

美国马里兰大学 5 位电脑科学家 Vinu Sankar Sadasivan、Aounon Kumar、Sriram Balasubramanian、Wenxiao Wang 和 Soheil Feizi 最近研究了检测大型语言模型生成的文本,并将结果写成一篇名为《AI 生成文本能可靠地检测出来吗?》(Can AI-Generated Text be Reliably Detected?)的论文中详细介绍。

随後研究人员发现,「我们从理论和经验上表明,这些最先进的检测器在实际场景中无法可靠地检测出 LLM 模型输出」,由於机器学习的模型不断改进,越来越能模仿人类的方式输出内容,因此 LLM 输出检测可能相当困难。

研究人员认为,如果无节制的使用这些模型,可能导致不良後果,如复杂的垃圾邮件、操纵性假新闻、不准确的档案摘要和剽窃问题。更重要的是,这些技术已经被整合到主要科技公司的应用程式中。

事实证明,LLM 的文本输出可以从简单的单字替换成是完成,来逃避检测,这使得检测器的准确性从 97% 降至 80%、甚至是57%。该论文指出,只要在生成性文本的模型上使用轻度的转述器,就能够破坏整个检测器的范围。

在询问是否有更可靠的方法来检测 LLM 生成文本时,马里兰大学电脑科学助理教授、该论文共同作者之一Soheil Feizi 认为没有,我们的结果指出 AI 生成的文本检测问题在实际场景中的不可能性。

Feizi 表示,「我们可能永远无法可靠地说出一个文本是由人类还是 AI 写的,但相反地,我们可能透过其他讯息验证文本『来源』,如许多社群平台开始广泛验证帐户,这能有效使 AI 产生的错误讯息传播更加困难。」

  • No reliable way to detect AI-generated text, boffins sigh

(首图来源:shutterstock)

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
内联反馈
查看所有评论