← 全部文章

为什么两个 AI 文本检测器会得出不同结论

两个文本检测器可能为同一段文字给出不同标签,因为它们的分数、阈值、定义和输入条件可能不同。以下方法可帮助您比较结果,而不是把较大的数字当作胜者。

6 分钟阅读ZeroTrue
Why two AI text detectors disagree
本文内容
  1. 分数和标签不是一回事
  2. 为什么校准会改变数字的读法
  3. 文本版本与显示结果同样重要
  4. 在下结论前建立比较记录
  5. 如何处理冲突的标签

两个文本检测器可以为同一段文字给出不同标签,而任何一个显示的数字都不能单独解决这种分歧。实际可行的下一步,是保留完全一致的文本,然后比较每个工具对分数和标签的定义。不要按百分比大小给结果排名。

分数是数值输出。标签则是工具依照自身规则作出的判断,其中可能包含阈值。如果两个工具采用不同的量表、定义或阈值,它们的分数就不是同一套可靠性排名。

分数和标签不是一回事

一个工具可能先显示数字,再套用一个界限:高于界限就给出与 AI 相关的标签,低于界限则不显示该标签。另一个工具即使显示了看似相近的数字,也可能采用不同的界限。

下列数值是假设的教学示例。它们不是任何检测器的结果,也不是概率。

工具分数给出 AI 标签的阈值按该工具规则得出的结果
工具 A0.650.60AI 标签
工具 B0.680.75无 AI 标签

工具 B 显示的分数更高,是 0.68 而非 0.65。但 0.68 没有达到工具 B 的 0.75 阈值,因此工具 B 不会给出 AI 标签。工具 A 的分数较低,却超过了工具 A 较低的阈值,所以它会给出该标签。

这个示例并不说明工具 A 更严格、工具 B 更准确,或任一分数更值得信赖。它只展示两套不同判断规则的计算方式。仅仅因为两个工具都以小数或百分比显示,来自一个工具的分数也不会自动与另一个工具的分数可比。

为什么校准会改变数字的读法

校准关注的是:在来源已知、条件相近的样本中,报告的概率与相应结果实际出现的频率有多接近。如果工具显示 0.70,您很容易把它读成“这段文字由 AI 写成的概率为 70%”。这种解释未必成立。

NIST AI 700-1 的印刷页码第 31 页讨论了校准不佳的判别器分数,以及把它们视为概率的风险,包括使用固定分类阈值时的风险。对您的比较而言,要点很简单:一个数字可以在某个工具的结果中有用,但它不一定能作为可移植的概率,也不一定是跨工具通用的置信量表。

这份 NIST 讨论评估的是参与系统。它不是 ZeroTrue 的基准测试,不说明 ZeroTrue 分数是否经过校准,也不能给出您的文本的错误率。

文本版本与显示结果同样重要

检测结果不同,也可能是因为输入其实并不相同。缩短的节选去掉了上下文,并改变了受检文本量。翻译会改变措辞和结构。编辑可能改变句子、衔接、词汇,以及段落中各类内容的比例。

这些并非无关紧要的整理细节。把完整英文草稿与缩短版、译文或大幅编辑后的版本相比,实际上是在比较不同输入。它不能回答两个工具是否对同一段文字存在分歧。

BUST 基准论文 报告称,在其评估的数据集中,检测器的表现会随写作任务而有显著变化。这项发现并不评估 ZeroTrue,也不能确定任何检测器在您的文本上的表现。不过,它说明不应轻易把一种写作类型的结果推广到另一种。例如,一篇润色完善的文章的结果,并不能自动代表译文消息、简短产品说明或编辑过的节选。

在下结论前建立比较记录

用一份简短记录区分您已知的信息和工具没有披露的信息。只填写您能看到或核实的内容。

比较项目工具 A工具 B
完全一致的输入完整复制原文完整复制原文
显示的分数和标签按显示内容逐字记录按显示内容逐字记录
分数或标签定义抄录可获得的定义抄录可获得的定义
版本和条件只记录页面显示的信息只记录页面显示的信息
缺失信息标注未提供的阈值、版本或定义标注未提供的阈值、版本或定义

第一行决定您是否在比较同类对象。若输入相同而标签冲突,有用的结论是:两个工具针对这段完全一致的文字给出了互相冲突的输出。这是查看定义和来源背景的理由,不是宣布较高分数获胜的理由。

若输入不同,请明确标注比较关系,例如“完整原文与缩短译文”。您仍可了解输出如何变化,但这不是对同一段文字的直接分歧比较。

若定义、阈值或版本不可获得,就将这些栏位标为“未提供”。不要根据标签推测隐藏阈值,不要虚构模型版本,也不要把百分比换算成概率。您的记录仍然有用,因为它准确说明了哪些内容无法比较。

如何处理冲突的标签

当相同输入得到冲突标签时,请回到您需要回答的问题。如果您要判断文本中的某项说法是否真实,请核查支持该说法的来源。如果您要了解文本是如何产生的,请寻找您确实能核实的相关来源材料、草稿或披露信息。检测器之间的分歧不会让任一问题变成数字竞赛。

如果您尚未检查某段具体文本,可以使用 ZeroTrue 的文本检测器完成首次检查,并一同保存提交的文本和显示结果。如果其他工具已经给出冲突结果,再使用 ZeroTrue 本身并不能解决这种分歧。如需了解如何阅读首次结果,请参阅如何阅读 AI 检测器分数。

没有 AI 标签能证明文本由人写成吗?

不能。它只说明该工具没有依据其可见规则,为提交的输入加上该标签。仅凭这一点,无法确定文本由谁创作以及如何创作。

更多次检测能解决分歧吗?

单靠更多次检测不能。反复提交修改过的节选,可能增加更多输出,却不能形成公平比较。只有在保持完全一致的文本并记录结果含义时,额外检测才有用。为了寻找自己偏好的答案而反复比较分数,并没有帮助。