Все материалы

Обзор 10 мин чтения

Закрывать ли сайт от обучения ИИ? Запретить можно, но не уходите из ответов ИИ

Новые настройки наконец разделяют обучение ИИ и ответы ИИ. Об обучении решайте исходя из того, на чём вы зарабатываете, а ботов, которые собирают ответы, оставьте открытыми.

Закрывать ли сайт от обучения ИИ? Я бы закрывал, только если сам контент и есть то, что вы продаёте. Для большинства малых и средних компаний решение об обучении весит меньше, чем кажется. Настоящий риск в другом: заблокировать ботов, которые открывают ваши страницы, когда ChatGPT, Copilot, Gemini или Perplexity собирают ответ. Владельцы сайтов часто блокируют их случайно, вместе с ботами для обучения. Моё правило простое: об обучении решайте исходя из того, как вы зарабатываете, а ботов для ответов держите открытыми.

Сейчас для этого удачный момент. 30 октября 2026 года Microsoft Bing объявил отдельные, независимые друг от друга настройки для обучения ИИ и для использования контента в ответах (grounding). В тот же день Google и OpenAI сообщили, что собираются учитывать единый сигнал об обучении в robots.txt. Впервые у большинства владельцев сайтов появилась возможность принять эти два решения по отдельности.

Обучение и ответы — это две разные задачи

Определения Microsoft — самые ясные из тех, что я видел. Обучение ИИ — это использование вашего контента, чтобы изменить выученные параметры модели. Grounding — это использование вашего контента как исходных данных для ответа, который генерирует ИИ. Индексация и ранжирование страниц в обычной поисковой выдаче не относятся ни к тому, ни к другому.

Обучение работает опосредованно: ваша страница становится одним из множества источников, на которых учится модель. Grounding происходит в момент вопроса. Клиент спрашивает, бот открывает вашу страницу, и ассистент может назвать вас и дать ссылку. Если вы закрыли сайт для ответов, ассистент не сможет использовать вашу страницу. Он соберёт ответ из других источников, и среди них могут оказаться ваши конкуренты.

До этой осени большинство владельцев сайтов считали обучение и ответы одним решением. С 2023 года Microsoft управлял и тем и другим через NoArchive и NoCache. Токен Google-Extended у Google до сих пор охватывает оба случая. Длинные списки «заблокируйте всех AI-ботов» смешивали оба типа. У OpenAI, Anthropic и Perplexity отдельные боты были и раньше, но мало кто читал документацию так внимательно.

Бот или токенЧто делаетКатегория
GPTBot (OpenAI)Определяет, используется ли ваш контент для обученияОбучение
OAI-SearchBot (OpenAI)Определяет, может ли сайт появляться в результатах поиска ChatGPTОтветы
ChatGPT-User (OpenAI)Открывает страницу, когда об этом просит пользователь ChatGPTОтветы
ClaudeBot (Anthropic)Собирает данные для обученияОбучение
Claude-SearchBot, Claude-User (Anthropic)Улучшают результаты поиска и открывают страницы по вопросам пользователейОтветы
PerplexityBot, Perplexity-UserПоказывают сайты со ссылками в ответах Perplexity; открывают страницы по действиям пользователяОтветы
Google-Extended (токен, а не краулер)Обучение Gemini и, по данным СМИ, использование в ответах приложений GeminiИ то и другое
Googlebot, BingbotПоиск, а также AI Overviews и AI Mode у Google и grounding для Copilot у MicrosoftОтветы

Роли ботов взяты из публикации о краулерах OpenAI, справочного центра Anthropic, руководства Perplexity по краулерам и списка краулеров Google. Одна деталь: правила robots.txt могут не действовать на боты, которые работают по запросу пользователя, например ChatGPT-User и Perplexity-User, — ведь страницу попросил человек. А вот блокировка в файрволе их останавливает. Синтаксис robots.txt повторять не буду: в нашей карте llms.txt и других сигналов для AI-краулеров в 2026 году показано, как эти сигналы работают вместе.

Что изменилось 30 октября 2026 года, а что нет

Общий сигнал — это группа в robots.txt с названием User-Agent: __usage_ai-training. Она описана в IETF Internet-Draft, который подготовил Кевин Келли из Anthropic. Internet-Draft — это рабочее предложение, а не готовый стандарт. Google будет считать отказ через этот токен запретом для Google-Extended, если вы не указали Google-Extended отдельно. OpenAI обещает учитывать токен в ближайшие месяцы, а до тех пор действуют её нынешние правила robots.txt. По сообщениям СМИ, Anthropic уже начала внедрение, но страницы Anthropic, которая бы это подтверждала, я не видел.

Не менее важно, что не изменилось. Согласно черновику, опубликованные сегодня файлы robots.txt не выражают никакого общего предпочтения: такой группы в них пока нет. Работают ваши нынешние правила для GPTBot, ClaudeBot и Google-Extended. OpenAI, Google и Anthropic говорят, что настройки для отдельных ботов сохранятся.

ДатаЧто происходит
15 декабря 2026В Bing Webmaster Tools появляются временные настройки grounding — только для сайтов, которые используют NoArchive/NoCache
1 февраля 2027Bing начинает применять новые настройки по мере повторного обхода страниц
1 марта 2027Bing перестаёт читать NoArchive/NoCache для обучения и grounding
3 мая 2027Истекает срок действия текущего Internet-Draft
30 сентября 2027Истекают временные настройки grounding в Bing
2027 / «ближайшие месяцы»Поддержка общего токена у Google / OpenAI

Где разделение пока неполное

Google: обучение и ответы Gemini идут вместе

Search Engine Journal и Dataconomy пишут, что Google-Extended охватывает и grounding в приложениях Gemini, а способа разделить эти два использования документация Google не описывает. Значит, отказавшись от обучения через новый токен, вы можете выпасть и из ответов приложений Gemini. Отдельная группа Google-Extended имеет приоритет над общим токеном, но это всё равно один переключатель на оба случая. Google Поиск, AI Overviews и AI Mode это не затрагивает: ими управляет Googlebot, а не Google-Extended.

Microsoft: grounding настраивается для каждой страницы

В Bing обучение можно настроить для всего сайта в robots.txt и переопределить для отдельных страниц. Grounding настраивается только постранично — через метатег или заголовок X-Robots-Tag. Microsoft прямо пишет: «Настройки grounding на уровне всего сайта в robots.txt нет». Обе настройки по умолчанию разрешают использование. Есть и промежуточный вариант — ai-grounding:disallowextended. Он оставляет ваши страницы доступными для собственных сервисов Microsoft, таких как Copilot и Microsoft 365, но исключает сервисы grounding, которые Microsoft продаёт третьим компаниям.

Эти настройки определяют, как Microsoft использует ваш контент, а не может ли Bingbot его сканировать. Разрешение не отменяет правило robots.txt, которое блокирует Bingbot. И Microsoft увидит новую настройку только после повторного обхода страницы.

Правило со звёздочкой — это не отказ

По черновику группу User-Agent: * нельзя считать предпочтением насчёт обучения. Если вам кажется, что ваши общие правила уже говорят «не обучать», в новой системе они не говорят ничего.

Закрывать ли сайт от обучения ИИ: правило для решения

Задайте себе один вопрос: ваш контент сам по себе и есть продукт, который вы продаёте? Если нет, обучение на страницах ваших услуг почти ничего вам не стоит. Если да — защищайте его.

БизнесОбучение ИИОтветы ИИ
Локальные услуги, клиника, юридическая фирма, агентствоРешать вам; я склоняюсь к «разрешить»Оставить открытыми
Интернет-магазин, SaaS, B2B-лидогенерацияРешать вам; я склоняюсь к «разрешить»Оставить открытыми
Издание с платным архивом или архивом, который можно лицензироватьЗапретить или лицензироватьОткрыть для публичных страниц; в Bing рассмотреть DisallowExtended
Контент — это продукт: курсы, данные, рецепты, фотобанкиЗапретитьРешать постранично: открыть продающие страницы, закрыть сам продукт

Условный пример: стоматологическая клиника в Алматы. Её цены, часы работы и список процедур — не продукт, который кто-то может перепродать. Запрет обучения не защищает ничего ценного. А запрет ответов означает, что ChatGPT не сможет проверить эти факты, когда пациент спросит, какая клиника есть поблизости.

«Но ИИ отнимает у меня трафик»: самые сильные возражения

Издатели с контентом, который можно лицензировать

Опасение справедливое. Если ваш архив стоит денег, отказ от обучения — разумный выбор. Но Bing пишет, что его настройки «не устанавливают лицензионных или платёжных договорённостей». А черновик позволяет частным соглашениям, например лицензионным сделкам, иметь приоритет над общим сигналом. То есть токен сохраняет вам варианты, но не ведёт переговоры за вас. И чтобы сохранить эти варианты, не нужно убирать публичные страницы из ответов.

Сводки ИИ сокращают клики

Да, сокращают. Pew Research Center изучил данные о просмотрах 900 взрослых американцев за март 2025 года. Пользователи, которые видели AI-сводку Google, кликали на обычный результат в 8% визитов, а без сводки — в 15%. На ссылку внутри сводки они кликали примерно в 1% визитов. Это реальная потеря. Но запрет ответов не вернёт старую поисковую выдачу. Он лишь уберёт вас из сводки, которая теперь стоит на этой странице.

Блокировка не возвращает клики

Единственные данные, которые я видел, говорят об обратном, и их мало. В пересказе одной публикации описан сайт, который тестировал SEO-специалист Сайрус Шепард. Обычные органические клики сайта упали, пока его не было в AI Overviews и AI Mode, и восстановились, когда он вернулся. Это один сайт, сам по себе он ничего не доказывает. Но убедительных данных в пользу обратного я тоже не видел.

Открытый доступ — не гарантия, поэтому измеряйте

Microsoft говорит прямо: «Ни один из вариантов не гарантирует включения, трафика или оплаты». Если вы запретите grounding, Microsoft предупреждает, что видимость бренда в AI-сервисах снизится. Если разрешите — ваши страницы лишь получат шанс попасть в ответы. Назовёт ли вас ассистент, зависит от ясных, уникальных фактов на этих страницах и от того, что о вас пишут другие источники.

Поэтому я считаю, что видимость в ИИ нужно измерять до и после изменений, а не обещать. Подход описан в нашем исследовании Share of Model и измерение видимости в ИИ. В кейсе Sereda.ai ChatGPT сначала отвечал, что не знает эту HR-платформу. Sereda.ai опубликовала AI Page 22 октября 2025 года. Два исследователя независимо оценивали ответы на 4 вопроса по 5 критериям по 100-балльной шкале. Оценка выросла с 24 до 87 в ChatGPT и с 28 до 91 в Gemini. «До» — сентябрь — начало октября 2025 года, «после» — начало декабря 2025 года. Это один кейс, а не типичный результат.

С технической стороны проверьте логи сервера. Боты для ответов должны получать ответ 200, а не ошибки 403, циклические редиректы или проверки файрвола. User-agent можно подделать, поэтому проверяйте важных ботов по IP или обратному DNS. Если читать сырые логи не хочется, Chetver Pulse покажет, какие AI-боты заходят на сайт, что читают и где натыкаются на ошибки.

Запросы AI-ботов на демо-сайте: какие боты ChatGPT, Claude, Gemini и Perplexity приходили и что читали. После изменения правил по такому отчёту можно убедиться, что боты для ответов по-прежнему видят ваши страницы.
Запросы AI-ботов на демо-сайте: какие боты ChatGPT, Claude, Gemini и Perplexity приходили и что читали. После изменения правил по такому отчёту можно убедиться, что боты для ответов по-прежнему видят ваши страницы. (кабинет Chetver на демо-сайте)

Что бы я сделал на вашем месте

  1. Посмотрите, что ваш сайт отдаёт на самом деле. Откройте живой robots.txt и проверьте метатеги robots и заголовки X-Robots-Tag на ключевых страницах. Настройки CDN и файрвола могут менять файл незаметно для вас. HasData сообщила об изменении в Cloudflare, которое убрало запреты для ИИ из robots.txt 118 сайтов.
  2. Пометьте каждое правило: «обучение» или «ответы». Правило, которое блокирует OAI-SearchBot, ChatGPT-User, Claude-User, PerplexityBot, Bingbot или Googlebot, должно стоять только потому, что вы так решили осознанно.
  3. Если хотите отказаться от обучения, добавьте отдельную группу __usage_ai-training. Правила для GPTBot, ClaudeBot и Google-Extended пока оставьте. Осознанно решите, готовы ли вы потерять ответы в приложениях Gemini.
  4. Если используете NoArchive или NoCache в Bing, запланируйте переход до 1 марта 2027 года. Перенесите обучение в новую группу robots.txt, а grounding — в постраничные теги.
  5. После каждого изменения снова проверяйте логи. Боты для ответов должны по-прежнему получать ответ 200.

Начните с первого шага сегодня. Это быстро, и вы увидите, какие решения ваш сайт уже принял без вас.

Частые вопросы

Если закрыть сайт от GPTBot, он пропадёт из поиска ChatGPT?

Нет. GPTBot определяет, используется ли ваш контент для обучения. OAI-SearchBot определяет, может ли сайт появляться в результатах поиска ChatGPT, и эти две настройки задаются независимо. ChatGPT-User открывает страницы, когда об этом просит пользователь ChatGPT.

Что такое __usage_ai-training и работает ли он уже?

Это общая группа в robots.txt, через которую можно выразить предпочтение насчёт обучения ИИ. Она описана в IETF Internet-Draft. У крупных разработчиков она пока не работает: Microsoft начнёт применять её с 1 февраля 2027 года, Google планирует поддержку в 2027 году, OpenAI говорит о ближайших месяцах. До тех пор действуют ваши нынешние правила для отдельных ботов, например GPTBot и Google-Extended.

Если запретить обучение ИИ, я пропаду из Gemini?

Может быть. Google будет считать отказ через общий токен запретом для Google-Extended. По данным СМИ, Google-Extended охватывает и использование страниц в ответах приложений Gemini. Google Поиском, AI Overviews и AI Mode управляет Googlebot, поэтому на них отказ не влияет.

Считается ли User-Agent: * Disallow отказом от обучения ИИ?

По новому черновику — нет. Группу со звёздочкой нельзя считать предпочтением насчёт обучения. Файл robots.txt без группы __usage_ai-training не выражает общего предпочтения. Если хотите отказаться от обучения, нужна отдельная группа.

Я использую NoArchive или NoCache в Bing. Что делать?

Запланируйте переход до 1 марта 2027 года. После этой даты Bing перестанет читать NoArchive и NoCache для обучения и grounding. Обучение настройте через группу __usage_ai-training в robots.txt, а grounding — через метатеги на страницах или заголовок X-Robots-Tag.

Если я открою сайт для AI-ботов, ИИ-ассистенты будут меня упоминать?

Не обязательно. Microsoft пишет, что ни один из вариантов не гарантирует включения, трафика или оплаты. Открытый доступ даёт вашим страницам шанс попасть в ответы. Назовёт ли вас ассистент, зависит от ясных, уникальных фактов на ваших страницах и от того, что о вас пишут другие источники.

Читайте также.

llms.txt и AI Page для вашего сайта мы составляем сами.

Basic

$29/ мес. за сайт

или $290 в год, 2 месяца бесплатно

  • AI Page и файл для AI-ботов, обновление каждый месяц
  • Еженедельная проверка сайта и список исправлений
  • Сводка запросов AI-ботов

30 дней на возврат денег · отмена в любой момент