人工智能聊天机器人的写作检测:完整指南
诸如 ChatGPT 之类的人工智能聊天机器人,其能力远不止于回答问题。它们能够撰写如人类般的电子邮件、求职信、散文、诗歌和博客文章等各种文本。
人工智能的写作能力就像变色龙一样,能够完美融入任何类型的写作中,以至于难以区分是否出自人类之手。
遗憾的是,这使得我们人类难以辨别一段文本是由人工智能生成还是由人类撰写。 当然,我们都可以借鉴夏洛克·福尔摩斯的建议“排除不可能”,但这需要耗费大量时间。
如果告诉你,以上这段文字是由人工智能生成的呢? 是的,我让 YouWrite 为本文撰写了一个简短的引言,而它生成的就是这个。 很有说服力,不是吗? 这正是问题所在,它的说服力太强,任何人都可以将其据为己有,并从中获利。
人工智能不仅仅是改写内容,它们会学习主题并使用强化学习(RLHF)以自然语言呈现。 这意味着生成的内容既不会显得机械化,也不会与在线数据进行比较以发现抄袭。
检测人工智能生成的内容并非易事,我不会给你虚假的希望,说你能百分百准确地识别出来。 然而,通过一些侦探般的调查,并借助人工智能检测工具的帮助,你仍然可以捕获大部分人工智能作品。
在下文中,你将找到一些手动检测人工智能抄袭的方法以及一些自动工具。
手动检测人工智能抄袭🕵️
在人工智能抄袭方面,ChatGPT 甚至算不上一个大问题。 有许多替代工具基于相同的 GPT-3 技术,并且专门为写作而构建。 这些工具非常先进,旨在创建难以检测的类人内容。
根据内容类型、长度和复杂程度,自动检测工具有时会表现欠佳。 因此,至少在目前,通过手动方式分析文本以确定其是否由人工智能生成,仍然是最佳方法。
以下我列出了一些常见线索,你可以寻找这些线索来捕捉人工智能生成的内容。
#1. 信息过时
ChatGPT 和其他基于 GPT-3 的人工智能在 2021 年底进行了知识更新。尽管一些人工智能机器人内置了搜索引擎来查找最新信息,但它们在撰写较长内容时(如论文或博客文章)仍然依赖于旧数据。
如果你注意到文章中不断提到过时的数据,特别是 2021 年之前的数据,那么它很可能是人工智能生成的。
在下面的截图中,我让 YouWrite 告诉我最近的 FIFA 世界杯,这是它的回复。
它谈论的是 2018 年的世界杯,而不是最近的 2022 年世界杯。 尽管该工具已更新以讨论 2022 年世界杯等近期事件,但为了撰写长篇文章,它仍然使用其构建基础上的过时数据。
#2. 描述使用相同的句子结构
在描述多个产品或应用程序时,人工智能通常会重复使用相同的句子结构来适应产品描述。 这些描述通常以相同的词开头,例如 “The”、“It”、“A” 或产品名称。 这些描述的重点也很类似。
例如,在下面,我要求 ChatGPT 告诉我有关“数据输入工作网站”的信息。 你可以看到所有描述都以“A”开头,并且重点相似。
我也问了 YouChat 同样的问题,它也做了相同的事情,在开头重复每个网站的名称,而且描述本身看起来像是每个网站的改写版本。
如果你正在分析的文章包含类似性质的描述,这是一种检测人工智能写作的好方法。
#3. 使用短句
在大多数文章中,人工智能通常会使用单行句子,最多包含一个逗号。 也许它们试图将出错的可能性降到最低,但它们会避免使用可能需要冒号、分号或破折号的长句。
我知道这不是检测人工智能写作的最佳线索,但它值得考虑,以进一步验证你的怀疑。
#4. 可能提供不正确的信息
对于通常涉及某种指令的复杂问题,人工智能可能无法理解其意图,并会提供不正确的信息。 这里我不是在谈论过时的信息,它们只是在没有把握时,自信地告诉你错误的信息。
例如,我请 YouWrite 告诉我“如何在没有电脑的情况下对 Android 手机进行 root”。它仍然向我展示了在教学中的某个时刻涉及使用电脑的方法。
#5. 不添加个人观点
在谈论某事时,人工智能只会陈述已知的事实。 与人类不同,它不会谈论自己的个人经历。 尽管可以指示人工智能撰写带有个人观点的文章,但默认情况下,它们通常会避免这样做。
如果你注意到文章只讨论众所周知的事实,那么它很可能是由人工智能撰写的。 例如,在讨论应用程序时,它会谈论其功能,而不是导航的流畅性或实际使用该应用程序的感受。
#6. 简要说明
由于人工智能受到当前可用知识的限制,它们倾向于撰写简短的解释和描述。 根据我的经验,如果他们讨论某个特定主题(例如 Android root),他们最多会用 2-3 段进行解释。 而对于应用程序或产品之类的内容,描述通常不会超过 1 段。
人类可以写得很深入,包括功能、局限性、个人体验、价格等。而人工智能通常会专注于主要功能或亮点,因此文章会比较短。 如果要求提供更多细节,则信息不正确的可能性会大大增加。
#7. 检查作者的历史
作为教师或网站管理员,如果你可以访问作者之前的作品或作业,最好将其与你怀疑的文章进行比较。 作者的写作风格极不可能与人工智能相似。 虽然人工智能可以改变写作语气,但它选择的风格比较通用,无法复制你的写作风格。
以本文引言中人工智能生成的段落为例。 任何看过我之前帖子的人都可以轻易看出我的写作风格与它完全不同。
你可以查看作者之前的 2-3 篇作品,看看是否与可疑文章的写作风格一致。
检测人工智能抄袭的工具
目前有许多工具可以检测人工智能生成的内容。 然而,它们的准确性各不相同,并且可能会因内容类型和长度的不同而失效。
我使用由 ChatGPT、GPT-3 Playground、WriteSonic、Rytr 和 YouWrite 生成的不同类型的内容测试了这些工具。 它们成功检测出 ChatGPT 和 GPT-3 Playground 生成的所有类型的内容。
尽管它们对专用写作工具的结果喜忧参半,但有趣的是,它们都未能检测到 YouWrite,我猜测是因为 YouWrite 会故意犯下类似人类的错误以避免检测。
我建议你在手动检查内容的同时使用这些工具。 首先,使用其中一个工具分析内容,然后手动检查任何线索,以进一步确认你的怀疑。
以下我列出了一些提供最佳结果且最易于使用的工具:
注意:为了演示,我将使用 WriteSonic 生成的关于“芒果的好处”的文本。
#1. Content At Scale
我发现 Content At Scale 的人工智能内容检测器对于我进行的大多数测试来说是最准确的。 它允许你每次扫描最多 2500 个字符,并进行百分比预测,以显示真实或虚假的内容密度。
超过 60% 的虚假内容可以安全地假设是由人工智能内容编写的,至少大部分内容是这样。 在下面的截图中,你可以看到 96% 的内容是虚假的,这是我完全使用人工智能生成的内容。
#2. GPTZero
如果你想确切地看到人工智能生成了哪些内容,那么 GPTZero 是一个不错的选择。 GPTZero 不会对内容进行评分。 相反,它会突出显示可能由人工智能生成的具体内容。
虽然它确实会显示困惑度和突发性分数,以了解文本的随机性,但更重要的是,它支持每次扫描 5000 个字符,并且还可以上传文件。 扫描较大的内容有助于提高准确性。
#3. GPT-2 输出检测器
ChatGPT 的创建者还提供了一个机器人来检测他们自己的作品。 由于 GPT-2 和 GPT-3 仅在用于训练的总数据上有所不同,因此该 GPT-2 检测器也适用于基于 GPT-3 的人工智能。
它可以扫描的内容量没有限制,因此非常适合检测人工智能生成的超长内容。 我还发现其准确性不错,特别是对于 ChatGPT 生成的内容。 然而,它的预测有时会出错,因此只有当它显示超过 50% 的内容是虚假的,才应该考虑它的结果。
#4. Writer AI 内容检测器
当检测来自人工智能写作工具的内容时,Writer AI Content Detector 的结果值得怀疑,但它对于 ChatGPT 生成的内容非常有效。 你每次扫描可以扫描 1500 个字符,如果内容已经发布,你甚至可以添加内容的 URL。
对于我测试的人工智能生成的文本,它表示 94% 的内容是人为生成的,与其他工具的结果相差甚远。 尽管如此,它仍然值得用来检测 ChatGPT 内容,尤其是在内容已经发布的情况下。
#5. Draft & Goal
一个简单而强大的人工智能写作检测工具。 根据我的经验,Draft & Goal 提供了与 Content At Scale 类似的结果,但它没有字数限制,因此你可以扫描较长的文章。 然而,扫描时间会随着你扫描的内容量而增加。
对于我的示例文本,它表示 94% 的文本是人工智能生成的。
我的想法💭
我个人认为,人工智能可以帮助消除写作障碍,将所有信息集中到一个地方,并找到灵感。 然而,它永远不应该取代人类的写作,因为人工智能仅限于已知的知识。
你还可以探索一些最好的剽窃检查工具来防止抄袭。