AI软件轻松蒙混检测

2023-07-11 04:05:18 来源：DeepTech深科技

(资料图片)

在 ChatGPT 刚推出的几周内，人们担心学生们会使用该聊天机器人在几秒钟内编写出应付作业和考试的论文。为了应对这些担忧，许多初创公司开始制造工具，承诺可以识别文本是由人写的还是由机器写的。一个尚未经过同行评审的新研究指出，应对这一挑战的核心问题是，欺骗这些工具并通过检测并不困难。（来源：Pixabay）德国柏林技术与经济应用科学大学的媒体和计算教授黛博拉·韦伯·伍尔夫（）与来自多所大学的一组研究人员合作，评估了包括、GPT Zero 和在内的 14 种检测工具，它们都声称具备检测 ChatGPT 编写的文本的能力。这些工具中的大多数都是通过寻找人工智能生成文本的特征来工作的，然后计算该文本由人工智能生成的概率。但该团队发现，所有接受测试的工具都很难找到 ChatGPT 生成的文本，因为这些文本都被人类重新排列并被转述工具加工过。这表明，学生只需要稍微调整人工智能生成的文章，就可以通过检测工具。 “这些工具不起作用，”说，“它们无法实现它们被创造出来的目的，也不是人工智能的探测器。” 研究人员通过撰写土木工程、计算机科学、经济学、历史学、语言学和文学等多个学科的本科生论文来评估这些工具。他们自己撰写论文是为了确保网上找不到这些文本，不然可能已经被拿来训练 ChatGPT 了。然后，每位研究人员用波斯尼亚语、捷克语、德语、拉脱维亚语、斯洛伐克语、西班牙语或瑞典语又写了一篇。这些文本会通过人工智能翻译工具 DeepL 或翻译翻译成英语。然后，该团队使用 ChatGPT 生成了两份文本，每份都经过了轻微的调整，以隐藏它是人工智能生成的。其中一组是由研究人员手动编辑的，他们重新排列句子并替换单词，而另一组是使用名为 Quillbot 的人工智能转述工具重写的。最终，他们获得了 54 份文件来测试检测工具。他们发现，虽然这些工具善于识别人类书写的文本（平均准确率为 96%），但在识别人工智能生成的文本时，尤其是编辑过的文本时，它们的表现更差。尽管这些工具识别 ChatGPT 文本的准确率为 74%，但当 ChatGPT 生成的文本经过稍微调整后，准确率降至 42%。南澳大利亚大学构建机器学习和人工智能模型的高级讲师维托米尔·科瓦诺维奇（）表示，这类研究也突显了大学目前评估学生学业的方法是多么过时。他没有参与该项目。专门研究自然语言生成的高级研究科学家达芙妮·伊波利托（）也没有参与该项目，她提出了另一个担忧。她说：“如果要在教育环境中使用自动检测系统，了解其误报率至关重要，因为错误地指责学生作弊可能会对他们的学术生涯产生可怕的后果。假阴性率也很重要，因为如果太多人工智能生成的文本被识别为人类撰写的，检测系统就没有用处了。” 是研究人员测试的工具之一。该工具的开发者称，重要的是要记住该系统只会指出可疑段落，也就是将其归类为潜在的剽窃或可能由人工智能生成的内容。的一位发言人表示：“文本的作者（学生）是否真正学到了知识，取决于学校和评分的老师，他们可以采取额外的验证手段，比如口头提问、在受控的课堂环境中提出额外的问题等等。” 发言人补充道：“通过这种方式，工具可以成为教学方法的一部分，鼓励学生学习好的研究、写作和引用实践。软件是一种纠正辅助工具，而不是纠正者。” 和 GPT Zero 没有立即回应置评请求。我们早就知道，用于检测人工智能生成文本的工具并不总能按照预期的方式工作。2023年早些时候，推出了一款旨在检测 ChatGPT 生成的文本的工具，但承认它只能将 26% 的人工智能文本标记为“可能是人工智能书写的”。它警告说，旨在检测人工智能生成内容的工具“远非万无一失”。然而，马里兰大学助理教授汤姆·戈尔茨坦（）表示，这些失败并没有阻止公司推出号称能胜任这项工作的产品。他没有参与这项研究。他补充道：“其中许多工具都不是特别准确的，但也不意味着完全的灾难。”他指出，以相当低的假阳性率成功地实现了一定程度的检测准确性。人工智能初创公司的研究员萨沙·卢西奥尼（）表示，尽管揭示所谓人工智能文本检测系统缺点的研究非常重要，但将这项研究的范围扩大到 ChatGPT 之外的人工智能工具将更有帮助。对于来说，试图分辨人工智能生成内容的这个想法本身是有缺陷的。他说：“不要试图检测人工智能，要做出一些改变，从而让人工智能的使用变得不再是问题。”

支持：Ren

运营/排版：何晨龙

标签：

(责任编辑：)

AI软件轻松蒙混检测

相关文章

AI软件轻松蒙混检测

member是什么意思中文（member是什么意思）

长三角留学回国人员创新创业发展大会今天举行助力留学人才“留学有成回国创成”

奋“泳”争先，这所小学的游泳健儿赛中展身手

国际纵横谈｜绿水青山间中国同世界共话生态文明

招行反击高盛"唱空银行"研报: 缺乏逻辑性，地方政府相关融资远低于高盛推测值

波音将在印度投资100亿美元

从“菜园子”到“菜篮子”，稳稳的！

中国计量大学教务在线教务系统（中国计量大学教务在线正方平台）

黑龙江省七台河市：“诗和远方”就在身边

性感沙滩2下载地址有什么（性感沙滩2下载）

龙泉西川汇锦都学校初中部，校长、绝大部分教师都来自西川中学！

融创上半年交付11.8万户同比增长超过31%

尘白禁区安卡值不值得培养尘白禁区安卡培养方法

编号381323！“樊锦诗星”命名

网传广东廉江有人持刀在幼儿园行凶多人倒地，警方：嫌疑人已抓获，致6死1伤

“瑞见－罕见病基因检测资助计划”正式启动

欧股创4月最大单周跌幅英国房价创12年最大降幅

花34亿给22公里河道贴瓷砖？郑州市城乡建设局通报金水河综合整治工程情况

汶川“敬礼娃娃”，报考北大国关！他有个理想

奕东电子：公司的光通信组件及相关的连接器零组件产品配套下游客户的使用，应用于通讯基站、服务器、数据中心、交换设备领域

温网第8比赛日看点：德约百场继续出战，女双赛场上演金花德比

天风证券：继续看好空调内销景气度及清洁电器中长期布局机会

多名未成年人凌晨进入烟酒店抢劫致人死亡？警方回应

来自月球内部的信息（科技大观）

古代为何睡觉要留一个丫鬟为啥古代夫妻行房事

Threads突袭推特 “马扎”笼斗升级

英语四级满分750还是710 英语四级满分是多少

高考录取通知书来了！这些查询通道，快收藏

消息称小米汽车开始筛选交付中心

热门文章

热点排行