Почему AI-детекторы по-разному оценивают один текст

Два AI-детектора текста могут по-разному оценить один и тот же фрагмент. Это не значит, что один из них установил истину, а другой ошибся.

Результат детектора - сигнал для проверки, а не окончательный ответ на вопрос, кто написал текст и зачем. Если фрагмент важен, при расхождении результатов не стоит искать оценку, которая тебе больше нравится. Лучше сохранить материал, разобраться, что могло на него повлиять, и проверить источник.

Почему один фрагмент получает разные оценки

Числовая оценка и итоговая метка детектора различаются. Метка зависит от порога, после которого инструмент относит текст к определённой категории. Перед сравнением выясни, что показывает каждый сервис: оценку всего документа, метку отдельного фрагмента или показатель с определением в документации. Одинаково оформленные проценты не обязательно означают одно и то же.

Важна и калибровка. В исследовании NIST о детекторах текста отмечается, что оценку плохо откалиброванного детектора опасно интерпретировать как вероятность.

Имеет значение и тип текста. Авторы бенчмарка BUST обнаружили заметные различия в работе детекторов на разных письменных задачах. Результат проверки короткого описания продукта нельзя приравнивать к качеству, измеренному на другом типе материалов.

Для сравнения сохрани точный исходный текст, поддерживаемый язык, версию инструмента, если она указана, и определение показателя. Если сервис не объясняет поле, отметь эту неопределённость. Не придумывай общую шкалу самостоятельно. Так ты не установишь, какой результат верен, но поймёшь, что именно сравниваешь.

Что может изменить оценку

Прежде чем сравнивать результаты, посмотри на версию текста, которую ты отправил на проверку. Фрагмент могли сократить, перевести, скопировать со скриншота, исправить редактором или объединить с текстом из другого источника. Каждое такое изменение меняет материал, который анализируется.

Длина фрагмента тоже требует практического внимания. В коротком отрывке меньше окружающего материала для проверки. Не считай результат по небольшому фрагменту решающим: сохрани весь доступный текст и отметь, где начинается и заканчивается отрывок.

Контекст меняет вопросы, которые стоит задать. Хорошо отредактированное обновление проекта, переведенное описание продукта и срочное сообщение с просьбой о деньгах требуют разной дальнейшей проверки. Результат детектора не устанавливает, правдиво ли утверждение, настоящий ли отправитель и безопасно ли действовать по просьбе.

Пример проверки

Представь, что ты получил сообщение примерно на 120 слов, которое выглядит как сообщение от коллеги. В нем тебя просят быстро отправить документ. Один детектор показывает более сильные сигналы, связанные с AI, а другой дает иной общий сигнал.

Не делай вывод ни о коллеге, ни о сообщении по этим результатам. Вместо этого:

1. Сохрани сообщение в исходном виде, включая время, сведения об отправителе и полный текст.
2. Проверь, не было ли сообщение переслано, скопировано с изображения, переведено или отредактировано до того, как оно попало к тебе.
3. Прочитай сообщение целиком, а не только необычную фразу. Найди детали, которые можно проверить независимо: например, запрошенный документ или указанный срок.
4. Изучи доступные подтверждающие сигналы в результате. Они могут указать на фрагмент для проверки, но не устанавливают автора.
5. Свяжись с коллегой через канал, которому ты уже доверяешь, прежде чем что-то отправлять или выполнять просьбу.

В этом примере важен не вопрос, какой детектор «победил». Важно, подтверждена ли просьба доказательствами, которые не сводятся к оценке.

Веди короткую запись, а не ставь окончательный ярлык

Если позже тебе понадобится объяснить свое решение, запиши, что именно ты проверил. Простая заметка не даст слабому сигналу превратиться при пересказе в более сильное утверждение.

Используй этот чек-лист:

• Сохрани исходный фрагмент и укажи проверенную версию.
• Сохрани окружающий контекст, включая источник текста.
• Отметь существенные правки, перевод, скриншоты или отсутствующие части.
• Запиши результаты детекторов как сигналы, а не выводы об авторстве.
• Изучи доступные подтверждающие детали и отметь, что еще нужно проверить.
• Проверь источник или задай вопрос нужному человеку, если содержание может повлиять на решение.
• Укажи, почему ты продолжил проверку, отложил решение или решил, что дополнительная проверка не нужна.

ZeroTrue поддерживает проверку текста, изображений, аудио, видео и кода. Для текста первый результат в браузере может стать началом такого процесса, а не его завершением. Первый результат в браузере доступен без аккаунта.

Когда инструменты расходятся, сохраняй соразмерность. Сохрани фрагмент, проверь условия его появления и источник, а затем принимай следующее решение на основе доказательств, которые важнее одной оценки.