Методы и оценка
На странице описаны полезные группы сигналов, метрики оценки и открытые эталонные датасеты. Универсальная точность не заявляется, поскольку результат зависит от модели, образца, языка, преобразований и порога.
Это распространённые категории сигналов для интерпретации результата и построения репрезентативных тестов. Ни один отдельный сигнал не доказывает авторство.
Оценка текста может сочетать статистические признаки, результат классификатора и тесты устойчивости после редактирования и перефразирования.
При оценке кода важно отделять типовой шаблонный код от связанных с генератором признаков и проверять изменения после ручной правки.
Оценка аудио может учитывать спектральные, временные, просодические и канальные признаки на чистых, сжатых и перезаписанных образцах.
При оценке музыки можно сравнивать спектральные повторы, тембр, структуру и метаданные с учётом мастеринга и изменений при публикации.
Оценка видео должна проверять покадровую, временную, лицевую и аудиовизуальную согласованность при разном разрешении и повторном сжатии.
| Набор данных | Домен | Примечания | Метрика(и) |
|---|---|---|---|
| HC3 / HC3+ | Текст | Высококачественный ChatGPT vs Человек | AUROC, FPR@TPR |
| RAID | Текст | Состязательные атаки и домены | Оценка устойчивости |
| AIGCodeSet | Код | Задачи генерации Python | AUROC |
| ASVspoof 2019/21 | Аудио | Логический/Физический доступ | EER, min t-DCF |
| ADD 2022 | Аудио | Обнаружение аудиодипфейков | EER |
| DFDC | Видео | 100k+ клипов, при поддержке Facebook | Video-AUC |
| FaceForensics++ | Видео | Различные методы манипуляции | Frame-AUC |
| Celeb-DF | Видео | Высококачественные дипфейки | AUC |
Это открытые ориентиры для построения оценки. Упоминание датасета не означает, что ZeroTrue опубликовал результат на нём.
AUROC
На всех порогах
Показывает разделение классов на разных порогах. Вместе с ним нужны ложные срабатывания и калибровка.
AUROC
По языкам
Результаты нужно разделять по языку программирования, источнику и степени ручной правки.
EER
Баланс ошибок
Equal Error Rate показывает баланс между ложным принятием и ложным отклонением.
Clip AUC
Кадр и клип
Поведение на уровне клипа и кадра нужно публиковать отдельно, включая пересжатые образцы.
Пример обозначений для оценки уверенности с учётом политики.
Тестировать новые семейства генераторов, языки, источники медиа и типы контента.
Измерять поведение после сжатия, обрезки, перефразирования, правки, воспроизведения и перезаписи.
Публиковать ложные срабатывания, пропуски, калибровку, версию модели и дату теста.