方法与评估

如何评估多模态 AI 检测

本页介绍有用的信号类别、评估指标和公开参考数据集。我们不宣称通用准确率，因为性能会随模型、样本、语言、转换方式和阈值而变化。

文本
图像
代码
语音和音频
视频

按内容类型划分的信号类别

这些是解释检测结果和设计代表性评估时常用的信号类别。任何单一信号都不能证明作者身份。

生成文本

需要检查的信号

文本评估可以结合统计写作信号、分类器输出，以及编辑和改写后的鲁棒性检查。

评估检查

句子变化文体模式模型家族变化测试改写鲁棒性
报告内容AUROC、FPR、FNR、校准
有用证据句子级信号和置信度背景。
参考样本公开语料库和留出样本

生成代码

需要检查的信号

代码评估应区分常见样板代码和与生成器相关的模式，并测试人工修改后的变化。

评估检查

结构和标识符模式注释和文档信号特定语言基线人工编辑鲁棒性
报告内容AUROC、FPR、FNR、校准
有用证据结合仓库背景的函数级信号。
参考样本有版本记录的人类和 AI 代码样本

语音克隆和合成语音

需要检查的信号

音频评估可以在原始、压缩和重新录制的样本上检查频谱、时间、韵律和声道信号。

评估检查

编解码器鲁棒性噪声和重放测试说话人一致性音频长度分析
报告内容EER、FPR、FNR、校准
有用证据带时间戳的频谱和韵律信号。
参考样本公开反欺骗数据集和留出音频

生成音乐

需要检查的信号

音乐评估可以比较频谱重复、音色、结构和元数据，同时考虑母带处理和发布过程中的变化。

评估检查

频谱一致性结构和重复编解码器鲁棒性来源元数据检查
报告内容AUROC、FPR、FNR、校准
有用证据结合来源背景的片段级信号。
参考样本有版本记录的人类和生成音乐样本

深度伪造和生成视频

需要检查的信号

视频评估应在不同分辨率和重新压缩条件下测试帧、时间、人脸和音视频一致性。

评估检查

时间一致性人脸区域检查音视频对齐重新压缩鲁棒性
报告内容片段 AUC、帧 AUC、FPR、FNR
有用证据帧级和时间戳级信号。
参考样本公开深度伪造数据集和留出视频

与评估相关的公开数据集

数据集领域备注指标
HC3 / HC3+文本高质量 ChatGPT vs 人类AUROC, FPR@TPR
RAID文本对抗性攻击与领域鲁棒性评分
AIGCodeSet代码Python 生成任务AUROC
ASVspoof 2019/21音频逻辑/物理访问EER, 最小 t-DCF
ADD 2022音频音频深度伪造检测EER
DFDC视频10万+ 片段，Facebook 支持视频 AUC
FaceForensics++视频多样化篡改方法帧 AUC
Celeb-DF视频高质量深度伪造AUC

这些数据集是设计评估时的公开参考。列出数据集并不表示 ZeroTrue 已在其上发布分数。

评估指标

文本
AUROC
跨阈值
代码
AUROC
按语言
音频
EER
错误权衡
视频
片段 AUC
帧和片段

操作区间

结合策略背景理解置信度的示例标签。

较低置信度
人工审核
较高置信度

评估重点

覆盖

生成器和领域变化

测试留出的生成器家族、语言、媒体来源和内容领域。

鲁棒性

转换抵抗能力

测量压缩、裁剪、改写、编辑、重放和重新录制后的表现。

质量

校准和错误分析

发布误报、漏报、置信度校准、模型版本和测试日期。