Детекторы ИИ оценивают контент, но их результаты требуют дополнительной проверки

Летом 2023 года OpenAI прекратила работу собственного сервиса по определению ИИ-текстов, дополнив прежнюю публикацию в блоге коротким пояснением. Причина была указана прямо – недостаточная эффективность. В начале тестов классификатор распознавал только 26% машинных фрагментов, при этом ошибочно приписывал 9% человеческих текстов ИИ. Компания, которая разбирается в языковых моделях лучше всех, не смогла надежно определять работы собственных алгоритмов.

В тот же период несколько известных детекторов проанализировали текст Конституции США и заключили, что он создан нейросетью. Документу уже более 200 лет. Этот случай демонстрирует ключевую проблему таких сервисов – уверенная формулировка результата не гарантирует его достоверность.

Как работает детектор ИИ

Сервис анализирует текст, пытаясь ответить на один вопрос: автор – человек или программа. Однозначный вывод встречается редко. Обычно система показывает вероятность, например «85% за машинное происхождение». Число создает иллюзию точности, хотя на деле отражает статистическую вероятность.

Понимания смысла за оценкой нет. Детектор не оценивает глубину мысли, а ищет статистические маркеры, отличающие машинный текст от человеческого. Это похоже на работу собаки в аэропорту – она не знает химический состав вещества, но реагирует на знакомый запах. Когда нюх подводит, под подозрение может попасть даже чистый багаж.

Критерии определения машинного текста

Подобные сервисы появились, когда генеративные модели стали массово применяться. После релиза ChatGPT в конце 2022 года преподаватели начали получать подозрительно гладкие эссе, а редакторы заметили одинаковый стиль у разных авторов. Спрос на проверку возник моментально.

Большинство решений основаны на машинном обучении. Алгоритм обучают на тысячах примеров, после чего он ищет в тексте характерные признаки.

• Прогнозируемость текста (англ. perplexity). Нейросети выбирают наиболее вероятные слова, поэтому их текст легче предсказать. Человек строит фразы менее логично, использует неожиданные обороты, иногда сам удивляется своему выбору слов.
• Разнообразие длины предложений (burstiness). У реального автора ритм меняется – длинные периоды сменяются короткими фразами. Алгоритмы держатся в рамках одинакового размера.
• Логические переходы. Люди отклоняются от темы, возвращаются к ранее сказанному. Модель движется линейно, от пункта к пункту.
• Лексикон. У каждого автора есть любимые и избегаемые слова. У алгоритмов свои предпочтения, унаследованные из обучающей выборки.

В этом кроется основная проблема. Детектор реагирует не на искусственность, а на предсказуемость и гладкость. Те же свойства присущи юридическим документам, научным статьям или текстам людей, пишущих на неродном языке простыми конструкциями. Конституция США попала под подозрение именно поэтому.

Разница между детектором ИИ и антиплагиатом

Эти инструменты часто путают, хотя у них разные задачи.

Антиплагиату безразличен автор, важно только наличие копирования. Детектору ИИ не интересно, встречался ли текст ранее, только его происхождение. Редкое пересечение – когда нейросеть дословно повторяет чужой текст. В остальном это противоположные по цели инструменты.

Типичные ошибки детекторов

Погрешности носят системный характер и давно изучены.

Наиболее болезненны ложные срабатывания. В 2023 году стэнфордские исследователи проверили студенческие работы через семь популярных детекторов. Эссе носителей языка распознавались почти идеально. Тексты иностранных студентов (из теста TOEFL) в 61% случаев ошибочно определялись как машинные, а 97% таких работ хотя бы один сервис помечал как ИИ-генерацию.

Причина проста. Пишущие на неродном языке используют простую лексику, строят предложения ровнее, избегают сложных оборотов – ведут себя как алгоритм. Детектор не различает осторожность учащегося и шаблонность машины, приписывая обоим предсказуемость. Ошибка дискриминирует конкретную группу, превращая техническую погрешность в вопрос справедливости.

Детекторы не успевают за развитием моделей. Генеративные системы обновляются ежемесячно, а проверяющим алгоритмам нужно время на адаптацию. Временной промежуток между выходом новой модели и появлением детектора для нее создает окно для машинного текста.

Контекст обычно игнорируется. Научную статью и личный блог пишут по разным правилам, но большинство сервисов оценивает их одинаково. Формальный стиль автоматически получает высокий «машинный» балл. Короткие тексты сложнее проверить из-за недостатка данных – пара предложений легко получает метку ИИ.

Заявленная точность 98% и отказ вузов от проверки

Разрыв между обещаниями и реальностью виден на примере Университета Вандербильта. Сервис Turnitin, который используют тысячи вузов, заявлял о точности около 98% и менее 1% ложных срабатываний. Вандербильт перевел проценты в цифры. При 1% ошибок на потоке из 75 тысяч работ ежегодно около 750 студентов получают несправедливые обвинения. В августе 2023 года университет отказался от Turnitin, ссылаясь на риск ошибок и предвзятость к иностранцам. За ним последовали Йель, Университет Джонса Хопкинса и несколько кампусов Калифорнийского университета.

Внутренняя логика сервиса добавляет деталь. Чтобы минимизировать ложные срабатывания, Turnitin сознательно пропускает часть машинных текстов – каждое седьмое сгенерированное предложение остается без метки. Компания предпочитает пропустить ИИ-текст, чем ошибиться в отношении человека, поэтому заявленные 98% верны только в идеальных условиях.

Диплом за сутки и реакция системы Антиплагиат

В России дискуссия об ИИ в вузах началась со скандала. В 2023 году студент РГГУ Александр Жадан рассказал, что защитил диплом, написанный в ChatGPT. На создание текста ушло около суток, нейросеть потребовалось немного дообучить, и на 60 страницах система вуза показала 82% оригинальности. Часть аудитории потребовала отозвать диплом. РГГУ оставил диплом в силе, но вопрос обнаружения подобных случаев остался открытым. Машинное авторство выявил не сервис проверки, а сам пост в соцсети.

Отрасль ответила технически. С 2025 года в Антиплагиат.ВУЗ добавили модуль, помечающий подозрительные фрагменты. Разработчик не называет инструмент безошибочным и признает, что нейросети развиваются быстрее систем проверки. Такая оговорка делает позицию честнее западных аналогов.

Невидимые метки в ИИ-текстах

Поскольку стилистический анализ ненадежен, разработчики начали помечать текст при генерации. Наиболее известен проект SynthID от Google DeepMind.

Механизм деликатный. При выборе слов SynthID немного изменяет вероятности, создавая в тексте незаметный для человека узор. Отдельный детектор проверяет соответствие узора. Качество текста почти не страдает. Осенью 2024 Google открыла код инструмента, на конференции I/O в 2025 запустила портал SynthID Detector, а к 2026 году метки получили более 10 миллиардов фрагментов.

Ограничения значительны. SynthID работает только с текстами Google, а материалы ChatGPT для него невидимы. Метка теряется при переводе или переработке текста. Google признает, что защита неабсолютна.

Законодательство движется в том же направлении. Европейский AI Act, действующий с августа 2024, требует помечать ИИ-тексты машиночитаемыми метками с полным переходом к 2026 году. В Европе это стало обязательным требованием.

Соревнование детекторов и обходных методов

Параллельно с детекторами растет индустрия «гуманизаторов» – программ, перерабатывающих ИИ-текст под человеческий стиль. Эти инструменты знают, что ищут детекторы, и целенаправленно устраняют маркеры. Каждая правка увеличивает шанс пройти проверку.

Способ обхода давно известен и объясняет ложные срабатывания. Чтобы текст не выглядел машинным, нужно то, чего не хватает ИИ: варьировать длину предложений, добавлять личные примеры, отклоняться от темы, использовать неожиданные слова. Это же признаки хорошего авторского стиля, поэтому детектор фактически наказывает за формальный язык и поощряет живую манеру.

Гонка продолжается. Модели пишут естественнее, детекторы адаптируются, гуманизаторы находят новые способы, детекторы снова улучшаются. Конец этой спирали не предвидится.

Насколько надежны детекторы

Как ориентир детектор полезен, как доказательство – бесполезен. В идеальных условиях лучшие сервисы дают 60-80% точности, а на коротких или переработанных текстах результат хуже. Цифра «92% ИИ» ничего не доказывает и служит лишь поводом проверить историю правок.

Для тех, кого сервис ошибочно пометил, последствия неприятны. Оспорить решение можно только черновиками, потому что алгоритм не объясняет свои выводы, а разработчики не раскрывают критерии оценки.