为什么两个 AI 文本检测器会得出不同结论
两个文本检测器可能为同一段文字给出不同标签,因为它们的分数、阈值、定义和输入条件可能不同。以下方法可帮助您比较结果,而不是把较大的数字当作胜者。
两个文本检测器可以为同一段文字给出不同标签,而任何一个显示的数字都不能单独解决这种分歧。实际可行的下一步,是保留完全一致的文本,然后比较每个工具对分数和标签的定义。不要按百分比大小给结果排名。
分数是数值输出。标签则是工具依照自身规则作出的判断,其中可能包含阈值。如果两个工具采用不同的量表、定义或阈值,它们的分数就不是同一套可靠性排名。
分数和标签不是一回事
一个工具可能先显示数字,再套用一个界限:高于界限就给出与 AI 相关的标签,低于界限则不显示该标签。另一个工具即使显示了看似相近的数字,也可能采用不同的界限。
下列数值是假设的教学示例。它们不是任何检测器的结果,也不是概率。
| 工具 | 分数 | 给出 AI 标签的阈值 | 按该工具规则得出的结果 |
|---|---|---|---|
| 工具 A | 0.65 | 0.60 | AI 标签 |
| 工具 B | 0.68 | 0.75 | 无 AI 标签 |
工具 B 显示的分数更高,是 0.68 而非 0.65。但 0.68 没有达到工具 B 的 0.75 阈值,因此工具 B 不会给出 AI 标签。工具 A 的分数较低,却超过了工具 A 较低的阈值,所以它会给出该标签。
这个示例并不说明工具 A 更严格、工具 B 更准确,或任一分数更值得信赖。它只展示两套不同判断规则的计算方式。仅仅因为两个工具都以小数或百分比显示,来自一个工具的分数也不会自动与另一个工具的分数可比。
为什么校准会改变数字的读法
校准关注的是:在来源已知、条件相近的样本中,报告的概率与相应结果实际出现的频率有多接近。如果工具显示 0.70,您很容易把它读成“这段文字由 AI 写成的概率为 70%”。这种解释未必成立。
NIST AI 700-1 的印刷页码第 31 页讨论了校准不佳的判别器分数,以及把它们视为概率的风险,包括使用固定分类阈值时的风险。对您的比较而言,要点很简单:一个数字可以在某个工具的结果中有用,但它不一定能作为可移植的概率,也不一定是跨工具通用的置信量表。
这份 NIST 讨论评估的是参与系统。它不是 ZeroTrue 的基准测试,不说明 ZeroTrue 分数是否经过校准,也不能给出您的文本的错误率。
文本版本与显示结果同样重要
检测结果不同,也可能是因为输入其实并不相同。缩短的节选去掉了上下文,并改变了受检文本量。翻译会改变措辞和结构。编辑可能改变句子、衔接、词汇,以及段落中各类内容的比例。
这些并非无关紧要的整理细节。把完整英文草稿与缩短版、译文或大幅编辑后的版本相比,实际上是在比较不同输入。它不能回答两个工具是否对同一段文字存在分歧。
BUST 基准论文 报告称,在其评估的数据集中,检测器的表现会随写作任务而有显著变化。这项发现并不评估 ZeroTrue,也不能确定任何检测器在您的文本上的表现。不过,它说明不应轻易把一种写作类型的结果推广到另一种。例如,一篇润色完善的文章的结果,并不能自动代表译文消息、简短产品说明或编辑过的节选。
在下结论前建立比较记录
用一份简短记录区分您已知的信息和工具没有披露的信息。只填写您能看到或核实的内容。
| 比较项目 | 工具 A | 工具 B |
|---|---|---|
| 完全一致的输入 | 完整复制原文 | 完整复制原文 |
| 显示的分数和标签 | 按显示内容逐字记录 | 按显示内容逐字记录 |
| 分数或标签定义 | 抄录可获得的定义 | 抄录可获得的定义 |
| 版本和条件 | 只记录页面显示的信息 | 只记录页面显示的信息 |
| 缺失信息 | 标注未提供的阈值、版本或定义 | 标注未提供的阈值、版本或定义 |
第一行决定您是否在比较同类对象。若输入相同而标签冲突,有用的结论是:两个工具针对这段完全一致的文字给出了互相冲突的输出。这是查看定义和来源背景的理由,不是宣布较高分数获胜的理由。
若输入不同,请明确标注比较关系,例如“完整原文与缩短译文”。您仍可了解输出如何变化,但这不是对同一段文字的直接分歧比较。
若定义、阈值或版本不可获得,就将这些栏位标为“未提供”。不要根据标签推测隐藏阈值,不要虚构模型版本,也不要把百分比换算成概率。您的记录仍然有用,因为它准确说明了哪些内容无法比较。
如何处理冲突的标签
当相同输入得到冲突标签时,请回到您需要回答的问题。如果您要判断文本中的某项说法是否真实,请核查支持该说法的来源。如果您要了解文本是如何产生的,请寻找您确实能核实的相关来源材料、草稿或披露信息。检测器之间的分歧不会让任一问题变成数字竞赛。
如果您尚未检查某段具体文本,可以使用 ZeroTrue 的文本检测器完成首次检查,并一同保存提交的文本和显示结果。如果其他工具已经给出冲突结果,再使用 ZeroTrue 本身并不能解决这种分歧。如需了解如何阅读首次结果,请参阅如何阅读 AI 检测器分数。
没有 AI 标签能证明文本由人写成吗?
不能。它只说明该工具没有依据其可见规则,为提交的输入加上该标签。仅凭这一点,无法确定文本由谁创作以及如何创作。
更多次检测能解决分歧吗?
单靠更多次检测不能。反复提交修改过的节选,可能增加更多输出,却不能形成公平比较。只有在保持完全一致的文本并记录结果含义时,额外检测才有用。为了寻找自己偏好的答案而反复比较分数,并没有帮助。