生成文本
需要检查的信号
文本评估可以结合统计写作信号、分类器输出，以及编辑和改写后的鲁棒性检查。
评估检查
- 句子变化
- 文体模式
- 模型家族变化测试
- 改写鲁棒性
- 报告内容
- AUROC、FPR、FNR、校准
- 有用证据
- 句子级信号和置信度背景。
- 参考样本
- 公开语料库和留出样本
方法与评估
如何评估多模态 AI 检测
本页介绍有用的信号类别、评估指标和公开参考数据集。我们不宣称通用准确率，因为性能会随模型、样本、语言、转换方式和阈值而变化。
- 文本
- 图像
- 代码
- 语音和音频
- 视频
按内容类型划分的信号类别
这些是解释检测结果和设计代表性评估时常用的信号类别。任何单一信号都不能证明作者身份。
生成代码
需要检查的信号
代码评估应区分常见样板代码和与生成器相关的模式，并测试人工修改后的变化。
评估检查
- 结构和标识符模式
- 注释和文档信号
- 特定语言基线
- 人工编辑鲁棒性
- 报告内容
- AUROC、FPR、FNR、校准
- 有用证据
- 结合仓库背景的函数级信号。
- 参考样本
- 有版本记录的人类和 AI 代码样本
语音克隆和合成语音
需要检查的信号
音频评估可以在原始、压缩和重新录制的样本上检查频谱、时间、韵律和声道信号。
评估检查
- 编解码器鲁棒性
- 噪声和重放测试
- 说话人一致性
- 音频长度分析
- 报告内容
- EER、FPR、FNR、校准
- 有用证据
- 带时间戳的频谱和韵律信号。
- 参考样本
- 公开反欺骗数据集和留出音频
生成音乐
需要检查的信号
音乐评估可以比较频谱重复、音色、结构和元数据，同时考虑母带处理和发布过程中的变化。
评估检查
- 频谱一致性
- 结构和重复
- 编解码器鲁棒性
- 来源元数据检查
- 报告内容
- AUROC、FPR、FNR、校准
- 有用证据
- 结合来源背景的片段级信号。
- 参考样本
- 有版本记录的人类和生成音乐样本
深度伪造和生成视频
需要检查的信号
视频评估应在不同分辨率和重新压缩条件下测试帧、时间、人脸和音视频一致性。
评估检查
- 时间一致性
- 人脸区域检查
- 音视频对齐
- 重新压缩鲁棒性
- 报告内容
- 片段 AUC、帧 AUC、FPR、FNR
- 有用证据
- 帧级和时间戳级信号。
- 参考样本
- 公开深度伪造数据集和留出视频
与评估相关的公开数据集
| 数据集 | 领域 | 备注 | 指标 |
|---|---|---|---|
| HC3 / HC3+ | 文本 | 高质量 ChatGPT vs 人类 | AUROC, FPR@TPR |
| RAID | 文本 | 对抗性攻击与领域 | 鲁棒性评分 |
| AIGCodeSet | 代码 | Python 生成任务 | AUROC |
| ASVspoof 2019/21 | 音频 | 逻辑/物理访问 | EER, 最小 t-DCF |
| ADD 2022 | 音频 | 音频深度伪造检测 | EER |
| DFDC | 视频 | 10万+ 片段，Facebook 支持 | 视频 AUC |
| FaceForensics++ | 视频 | 多样化篡改方法 | 帧 AUC |
| Celeb-DF | 视频 | 高质量深度伪造 | AUC |
这些数据集是设计评估时的公开参考。列出数据集并不表示 ZeroTrue 已在其上发布分数。
评估指标
文本
AUROC
跨阈值
衡量不同阈值下的类别区分能力，还应同时报告误报和校准。
代码
AUROC
按语言
应按编程语言、来源和人工编辑程度分别报告结果。
音频
EER
错误权衡
等错误率概括误接受和误拒绝之间的权衡。
视频
片段 AUC
帧和片段
应分别报告片段级和帧级表现，包括重新压缩的样本。
操作区间
结合策略背景理解置信度的示例标签。
- 较低置信度
- 人工审核
- 较高置信度
精选参考文献
评估重点
- 覆盖
生成器和领域变化
测试留出的生成器家族、语言、媒体来源和内容领域。
- 鲁棒性
转换抵抗能力
测量压缩、裁剪、改写、编辑、重放和重新录制后的表现。
- 质量
校准和错误分析
发布误报、漏报、置信度校准、模型版本和测试日期。