Почему два ИИ-детектора текста дают разные результаты
Разберите различия в оценках, порогах и калибровке. Узнайте, что записать при сравнении и как действовать, если результаты противоречат друг другу.
В этой статье
Два ИИ-детектора текста могут дать разные метки для одного фрагмента, и ни одно из показанных чисел само по себе не разрешает это противоречие. Практический следующий шаг: сохраните точный текст и сравните, что каждый инструмент называет оценкой и меткой. Более высокий процент сам по себе не делает результат надёжнее.
Числовая оценка показывает результат расчёта. Итоговая метка появляется по правилу инструмента, например при превышении заданного порога. Если у двух инструментов разные шкалы, определения или пороги, их оценки не образуют общей шкалы надёжности.
Оценка и метка - не одно и то же
Детектор может сравнивать оценку с порогом: выше него текст получает метку «ИИ», ниже метка не появляется. У другого детектора может быть иной порог, даже если числа на экране выглядят похоже.
В таблице приведены условные числа для объяснения. Они не получены при проверке текста и не обозначают вероятности.
| Инструмент | Оценка | Порог для метки ИИ | Результат по правилу инструмента |
|---|---|---|---|
| Инструмент A | 0,65 | 0,60 | Метка ИИ |
| Инструмент B | 0,68 | 0,75 | Нет метки ИИ |
Инструмент B показывает большее значение: 0,68, а не 0,65. Но 0,68 не достигает его порога 0,75, поэтому инструмент B не присваивает метку ИИ. Меньшее значение инструмента A проходит его более низкий порог, поэтому метка появляется.
Этот пример не показывает, что инструмент A строже, что инструмент B точнее или что одной из оценок следует доверять больше. Он показывает только арифметику двух разных правил принятия решения. Оценка одного инструмента не становится автоматически сопоставимой с оценкой другого лишь потому, что обе показаны десятичными числами или процентами.
Почему калибровка меняет смысл числа
Калибровка показывает, насколько заявленная вероятность соответствует частоте результата на сопоставимых примерах с известным происхождением. Увидев 0,70, легко прочитать это как 70% вероятности того, что текст написан ИИ. Такое прочтение может быть необоснованным.
В документе NIST AI 700-1, на печатной странице 31, рассматриваются плохо откалиброванные оценки детекторов и риск трактовать их как вероятности, в том числе при использовании фиксированного порога классификации. Для вашего сравнения вывод прост: показатель одного инструмента может быть полезен для его интерпретации, но напрямую сравнивать его с процентами другого инструмента нельзя без сведений об их шкалах.
NIST исследовал участвовавшие в оценке системы. Этот документ не измеряет точность или калибровку ZeroTrue и не позволяет определить вероятность ошибки для вашего текста.
Версия текста важна не меньше, чем показанный результат
Результаты детекторов могут различаться и потому, что входные данные на деле не одинаковы. Сокращённый отрывок убирает контекст и меняет объём проверяемого текста. Перевод меняет формулировки и структуру. Редактура может изменить предложения, переходы, лексику и соотношение частей фрагмента.
Это не формальности. Сравнение полного английского черновика с сокращённой, переведённой или сильно отредактированной версией - сравнение разных входных данных. Оно не отвечает на вопрос, разошлись ли два инструмента в оценке одного и того же фрагмента.
Статья о бенчмарке BUST сообщает о существенных различиях в работе детекторов при выполнении разных задач с текстом в изученном наборе данных. Этот вывод не оценивает ZeroTrue и не устанавливает, как какой-либо детектор сработает на вашем тексте. Но он даёт основание не переносить выводы без оговорок с одного вида текста на другой. Результат для выверенного эссе, например, не становится автоматически результатом для переведённого сообщения, короткого описания товара или отредактированного отрывка.
Запишите данные перед сравнением
Используйте короткую запись, которая отделяет известное от того, что инструменты не раскрывают. Заполняйте только то, что вы видите или можете проверить.
| Что сравнить | Инструмент A | Инструмент B |
|---|---|---|
| Точный входной текст | Полный фрагмент скопирован без изменений | Полный фрагмент скопирован без изменений |
| Показанные оценка и метка | Запишите обе ровно как показано | Запишите обе ровно как показано |
| Определение оценки или метки | Скопируйте доступное определение | Скопируйте доступное определение |
| Версия и условия | Запишите только показанные сведения | Запишите только показанные сведения |
| Недостающие сведения | Отметьте недоступный порог, версию или определение | Отметьте недоступный порог, версию или определение |
Первая строка определяет, сопоставляете ли вы одно и то же. Если входные тексты совпадают, а метки противоречат друг другу, обоснованный вывод таков: инструменты дали конфликтующие результаты для этого точного фрагмента. Это повод изучить определения и контекст источника, а не выбирать результат только по более высокому числу.
Если входные тексты различаются, обозначьте сравнение прямо: например, «полный оригинал и сокращённый перевод». Вы всё ещё можете увидеть, как изменились результаты, но это не прямое расхождение по одному и тому же фрагменту.
Если сервис не показывает определение, порог или версию, напишите в соответствующем поле «Не указано». Не выводите скрытый порог из метки, не придумывайте версию модели и не превращайте процент в вероятность. Такая запись всё равно полезна: она точно показывает, что именно нельзя сравнить.
Что делать при конфликтующих метках
Когда один и тот же входной текст получает конфликтующие метки, вернитесь к вопросу, на который вам нужен ответ. Если нужно понять, верно ли утверждение в тексте, проверьте источник, подтверждающий это утверждение. Если нужно разобраться, как был создан текст, ищите доступные исходные материалы, черновики или проверяемое пояснение автора о том, как он работал над текстом. Расхождение детекторов не превращает ни один из этих вопросов в числовое состязание.
Если вы ещё не проверяли конкретный фрагмент, можно начать с текстового детектора ZeroTrue. Сохраните отправленный текст вместе с результатом. Если результаты других сервисов уже противоречат друг другу, ещё одна проверка сама по себе спор не разрешит. Если вам нужна помощь с чтением первого результата, посмотрите статью как читать оценку детектора ИИ.
Доказывает ли отсутствие метки ИИ, что текст написал человек?
Нет. Это означает только, что инструмент не применил такую метку к отправленному входному тексту по доступному правилу. По этому признаку нельзя установить автора и способ создания текста.
Решат ли проблему дополнительные проверки?
Сами по себе - нет. Повторная отправка изменённых отрывков может создать больше результатов, но не даст честного сравнения. Дополнительная проверка полезна, когда вы сохраняете точный фрагмент и записываете, что означает полученный результат. Она не нужна для подбора оценки, которая кажется предпочтительной.