Почему запрет GPTBot в robots.txt не защищает сайт от обучения нейросетей

Многие администраторы сайтов добавляют в robots.txt строку Disallow: / для GPTBot и считают, что этого достаточно, чтобы их тексты не попали в обучение ChatGPT. На деле всё сложнее. Сотрудник Google Гари Ильес напомнил, что robots.txt управляет только поведением конкретного краулера при скачивании страниц, но не тем, как потом используют полученный контент.

Это значит, что запрет для GPTBot не равносилен запрету на обучение нейросети. Файл robots.txt — это общепринятый веб-стандарт, с помощью которого владелец сайта просит поисковых и иных роботов не загружать определённые разделы. Однако это именно просьба, а не технический запрет.

Добросовестные краулеры её соблюдают, но сам по себе файл не накладывает юридических ограничений и не мешает уже скачанным данным использоваться для тренировки моделей. Ильес подчеркнул, что robots.txt для нейросетей работает как обращение к конкретному роботу, а не как универсальный инструмент контроля над контентом. Важно понимать, что строчка про GPTBot не убирает сайт из ответов ChatGPT и никак не влияет на страницы, которые робот успел загрузить раньше.

Если контент уже попал в обучающую выборку, robots.txt его оттуда не удалит. Более того, даже если вы запретили GPTBot сегодня, это не гарантирует, что ваши тексты не появятся в выдаче нейросети завтра — ChatGPT может использовать другие источники, например, поисковую выдачу Bing. Поэтому владельцам ресурсов стоит чётко разделить две задачи: предотвратить дальнейшее скачивание страниц для обучения ИИ и ограничить появление материалов в ответах чат-бота.

Для каждой из этих целей нужны отдельные правила и, возможно, разные роботы. GPTBot используется OpenAI для сбора данных в обучающие датасеты, а ChatGPT при формировании ответов может обращаться к поисковым системам, которые индексируют сайт независимо. Эксперт советует сначала определить, что именно вы хотите закрыть: доступ к страницам для обучения будущих моделей или их цитирование в ответах.

От этого зависит, каких роботов перечислять в robots.txt. Если цель — не дать OpenAI тренировать нейросеть на ваших текстах, достаточно добавить запрет для GPTBot. Но если нужно исключить сайт из выдачи ChatGPT, придётся разбираться с тем, как чат-бот ищет информацию, и, возможно, закрывать доступ для поискового робота Bing или использовать другие методы.

Ильес не предлагает готового рецепта, а лишь напоминает о границах возможностей файла, чтобы владельцы сайтов не обманывались ложным чувством безопасности. Простота настройки robots.txt обманчива: без понимания того, как именно нейросети собирают и используют данные, легко оставить сайт открытым для обучения, даже прописав запрет для GPTBot. Стоит регулярно пересматривать правила для краулеров и следить за обновлениями документации разработчиков ИИ-платформ.

Таким образом, решение о защите контента от ИИ требует более комплексного подхода, чем одна строчка в robots.txt. Нужно учитывать, какие именно краулеры обходят сайт, как они связаны с конечными сервисами и какие ещё механизмы могут раскрыть информацию. Пока индустрия не выработала единых стандартов, владельцам сайтов придётся самостоятельно комбинировать доступные инструменты.