Усі матеріали

Огляд 10 хв читання

Чи блокувати навчання AI на сайті? Можна, але не закривайте AI-відповіді

Нові налаштування нарешті розділяють навчання AI та AI-відповіді. Про навчання вирішуйте з огляду на те, як заробляєте, а ботів для відповідей залиште відкритими.

Чи блокувати навчання AI на своєму сайті? Я блокував би його лише тоді, коли ви продаєте саме контент. Для більшості малих і середніх бізнесів рішення про навчання важить менше, ніж здається.

Справжній ризик в іншому: заблокувати ботів, які завантажують ваші сторінки, коли ChatGPT, Copilot, Gemini чи Perplexity складають відповідь. Власники сайтів часто закривають їх випадково, разом із ботами для навчання. Моє правило просте: про навчання вирішуйте з огляду на те, як заробляєте, а ботів для відповідей залиште відкритими.

Момент для цього рішення якраз слушний. 30 жовтня 2026 року Microsoft Bing оголосив окремі, незалежні налаштування для навчання AI та для AI grounding, тобто використання сторінок у відповідях. Того ж дня Google і OpenAI заявили, що планують враховувати один спільний сигнал навчання в robots.txt. Уперше більшість власників сайтів може зробити ці два вибори окремо.

Навчання і відповіді — це дві різні речі

Визначення Microsoft — найчіткіші з тих, що я бачив. Навчання AI — це використання вашого контенту, щоб змінити параметри моделі. AI grounding — це використання вашого контенту як вхідних даних для відповіді, яку генерує AI. Індексування і ранжування сторінок у звичайному пошуку не належить ні до того, ні до іншого.

Навчання — непрямий вплив: ваша сторінка стає одним із безлічі джерел, з яких вчиться модель. Grounding відбувається в момент запиту. Клієнт ставить питання, бот завантажує вашу сторінку, і асистент може назвати вас і дати посилання. Якщо ви заблокуєте grounding, асистент не зможе використати вашу сторінку для цієї відповіді. Він збере її з інших джерел, і серед них можуть бути ваші конкуренти.

До цієї осені більшість власників сайтів сприймали навчання і grounding як одне рішення. З 2023 року Microsoft керував обома через NoArchive і NoCache. Токен Google-Extended від Google досі охоплює обидва. Довгі списки «заблокуйте всіх AI-ботів» змішували обидва типи. В OpenAI, Anthropic і Perplexity боти вже були окремі, але мало хто читав документацію так уважно.

Бот або токенЩо робитьТип
GPTBot (OpenAI)Визначає, чи використовується ваш контент для навчанняНавчання
OAI-SearchBot (OpenAI)Визначає, чи може сайт з'являтися в результатах пошуку ChatGPTВідповіді
ChatGPT-User (OpenAI)Відкриває сторінку, коли користувач просить про це ChatGPTВідповіді
ClaudeBot (Anthropic)Збирає дані для навчанняНавчання
Claude-SearchBot, Claude-User (Anthropic)Покращують результати пошуку і завантажують сторінки на запити користувачівВідповіді
PerplexityBot, Perplexity-UserПоказують сайти з посиланнями у відповідях Perplexity; завантажують сторінки на дії користувачаВідповіді
Google-Extended (токен, не краулер)Навчання Gemini і, за даними медіа, grounding у застосунках GeminiОбидва
Googlebot, BingbotПошук, а також AI Overviews і AI Mode від Google та grounding у Copilot від MicrosoftВідповіді

Ролі ботів узято з публікацій про краулери OpenAI, довідки Anthropic, гайда Perplexity про краулери і списку краулерів Google. Важлива деталь: правила robots.txt можуть не діяти на боти, що працюють за запитом користувача, як-от ChatGPT-User і Perplexity-User, адже сторінку попросила людина. А от блокування у фаєрволі їх зупиняє.

Синтаксис robots.txt я тут не повторюватиму. Як ці сигнали поєднуються між собою, показує наша мапа llms.txt та інших сигналів для AI-краулерів у 2026 році.

Що змінилося 30 жовтня 2026 року, а що ні

Спільний сигнал — це група в robots.txt з назвою User-Agent: __usage_ai-training. Вона походить з чернетки IETF (Internet-Draft), яку написав Кевін Келлі з Anthropic. Internet-Draft — це робоча пропозиція, а не готовий стандарт. Google трактуватиме відмову через цей токен як заборону для Google-Extended, якщо ви не вказали Google-Extended окремо.

OpenAI заявляє, що враховуватиме токен протягом найближчих місяців, а доти діють її нинішні правила robots.txt. За повідомленнями, Anthropic уже почала його впроваджувати, але сторінки Anthropic, яка б це підтверджувала, я не бачив.

Не менш важливо, що залишилося як було. Згідно з чернеткою, файли robots.txt, опубліковані сьогодні, не виражають жодного спільного вибору, бо цієї групи в них ще немає. Працюють ваші наявні правила для GPTBot, ClaudeBot і Google-Extended. OpenAI, Google і Anthropic кажуть, що налаштування для окремих ботів залишаються.

ДатаЩо відбувається
15 грудня 2026У Bing Webmaster Tools з'являються тимчасові налаштування grounding, лише для сайтів, що використовують NoArchive/NoCache
1 лютого 2027Bing починає застосовувати нові налаштування в міру повторного сканування сторінок
1 березня 2027Bing перестає враховувати NoArchive/NoCache для навчання і grounding
3 травня 2027Спливає термін дії чинної чернетки Internet-Draft
30 вересня 2027Спливає термін тимчасових налаштувань grounding у Bing
2027 / «найближчі місяці»Підтримка спільного токена в Google / OpenAI

Де розділення досі неповне

Google: навчання і відповіді Gemini йдуть у парі

Search Engine Journal і Dataconomy пишуть, що Google-Extended охоплює і grounding у застосунках Gemini. За їхніми даними, документація Google не описує способу розділити ці два використання. Тож якщо ви відмовитеся від навчання через новий токен, то можете випасти й з відповідей у застосунках Gemini.

Окрема група для Google-Extended має пріоритет над спільним токеном, але це все одно один перемикач для обох випадків. Google Пошук, AI Overviews і AI Mode це не зачіпає: ними керує Googlebot, а не Google-Extended.

Microsoft: grounding налаштовується для кожної сторінки

У Bing навчання можна налаштувати для всього сайту в robots.txt і перевизначити для окремих сторінок. Grounding налаштовується лише на рівні сторінки, через метатег або заголовок X-Robots-Tag. Microsoft прямо пише: «Налаштування grounding для всього сайту через robots.txt не існує». За замовчуванням обидва налаштування мають значення Allow.

Є й проміжний варіант — ai-grounding:disallowextended. Він залишає ваші сторінки доступними для власних сервісів Microsoft, як-от Copilot і Microsoft 365, але виключає grounding-сервіси, які Microsoft продає третім сторонам.

Ці налаштування визначають, як Microsoft використовує ваш контент, а не те, чи може Bingbot його сканувати. Allow не скасовує правила robots.txt, яке блокує Bingbot. До того ж Microsoft має повторно просканувати сторінку, щоб побачити нове налаштування.

Правило із зірочкою — це не відмова від навчання

Згідно з чернеткою, групу User-Agent: * не можна трактувати як вибір щодо навчання. Якщо ви думаєте, що ваші загальні правила вже кажуть «ні навчанню», то в новій системі вони не кажуть нічого.

Чи блокувати навчання AI на сайті: правило для рішення

Поставте собі одне питання: чи є ваш контент тим самим продуктом, який ви продаєте? Якщо ні, навчання на ваших сторінках про послуги вам майже нічого не коштує. Якщо так, захищайте його.

БізнесНавчання AIAI-відповіді
Локальні послуги, клініка, юридична фірма, агенціяНа ваш розсуд; я схиляюся дозволитиЗалишити відкритими
Інтернет-магазин (зокрема з вітриною на Prom.ua чи Rozetka), SaaS, B2B-лідогенераціяНа ваш розсуд; я схиляюся дозволитиЗалишити відкритими
Видавець із платним архівом або архівом, який можна ліцензуватиЗаборонити або ліцензуватиВідкрити на публічних сторінках; у Bing розглянути DisallowExtended
Контент — це продукт: курси, дані, рецепти, стокові медіаЗаборонитиВирішувати посторінково: відкрити продажні сторінки, закрити сам продукт

Умовний приклад: стоматологічна клініка у Львові. Її ціни в гривнях, графік роботи й перелік процедур — не продукт, який хтось може перепродати. Блокуючи навчання, вона не захищає нічого цінного. А блокуючи відповіді, вона не дає ChatGPT перевірити ці факти, коли пацієнт шукає клініку поблизу.

«Але ж AI краде мій трафік»: найсильніші заперечення

Видавці з контентом, який можна ліцензувати

Це слушне побоювання. Відмова від навчання — розумний вибір, якщо ваш архів коштує грошей. Але Bing зазначає, що його налаштування «не встановлюють ліцензійних чи платіжних домовленостей». Чернетка також дозволяє приватним угодам, як-от ліцензійним, мати пріоритет над спільним сигналом.

Тобто токен зберігає ваші можливості, але не веде переговори за вас. І щоб їх зберегти, не обов'язково прибирати публічні сторінки з відповідей.

AI-підсумки зменшують кількість кліків

Так, зменшують. Pew Research Center проаналізував дані про перегляди 900 дорослих американців за березень 2025 року. Користувачі, які бачили AI-підсумок Google, клікали на звичайний результат у 8% відвідувань, а без підсумку — у 15%. На посилання всередині підсумку вони клікали приблизно в 1% відвідувань.

Це реальна втрата. Але блокування відповідей не поверне стару сторінку пошуку. Воно лише прибере вас із підсумку, який тепер на ній є.

Блокування не повертає кліки

Єдині дані, які я бачив, свідчать про протилежне, і їх небагато. Вторинне джерело описує один сайт, який тестував SEO-фахівець Сайрус Шепард. Його звичайні органічні кліки впали, поки сайт був поза AI Overviews і AI Mode, і відновилися, коли він туди повернувся.

Це один сайт, тож сам по собі він нічого не доводить. Утім, переконливих даних на користь протилежного я не бачив.

Відкритий доступ не гарантує згадок, тож вимірюйте

Microsoft каже прямо: «Жоден із варіантів не гарантує включення, трафіку чи оплати». Якщо ви забороните grounding, Microsoft попереджає, що видимість бренду в AI-сервісах зменшиться. Якщо дозволите, ваші сторінки лише стануть придатними для відповідей. Чи назве вас асистент, залежить від чітких, унікальних фактів на цих сторінках і від того, що про вас кажуть інші джерела.

Тому я вважаю, що видимість в AI треба вимірювати до і після змін, а не обіцяти. Наше дослідження про Share of Model і вимірювання видимості в AI пояснює підхід.

У нашому кейсі Sereda.ai ChatGPT спочатку казав, що не знає цієї HR-платформи. Sereda.ai опублікувала AI Page 22 жовтня 2025 року. Двоє дослідників незалежно оцінили відповіді на 4 питання за 5 критеріями за 100-бальною шкалою. Оцінка зросла з 24 до 87 у ChatGPT і з 28 до 91 у Gemini. «До» — це вересень — початок жовтня 2025 року, «після» — початок грудня 2025 року. Це один кейс, а не типовий результат.

Щодо технічного боку — перевірте серверні логи. Боти для відповідей мають отримувати відповідь 200, а не помилки 403, циклічні редиректи чи перевірки фаєрволу. User-agent можна підробити, тому перевіряйте важливих ботів за IP або зворотним DNS. Якщо не хочете читати сирі логи, Chetver Pulse показує, які AI-боти приходять на сайт, що читають і де натрапляють на помилки.

Запити AI-ботів на демосайті: які боти ChatGPT, Claude, Gemini і Perplexity приходили і що читали. Після зміни правил скористайтеся таким звітом, щоб переконатися, що боти для відповідей і далі дістаються ваших сторінок.
Запити AI-ботів на демосайті: які боти ChatGPT, Claude, Gemini і Perplexity приходили і що читали. Після зміни правил скористайтеся таким звітом, щоб переконатися, що боти для відповідей і далі дістаються ваших сторінок. (кабінет Chetver на демо-сайті)

Що я зробив би на вашому місці

  1. Подивіться, що ваш сайт віддає насправді. Відкрийте живий robots.txt і перевірте метатеги robots та заголовки X-Robots-Tag на ключових сторінках. Налаштування CDN і фаєрволу можуть змінити файл непомітно для вас. HasData повідомила про зміну в Cloudflare, яка прибрала заборони для AI з файлів robots.txt 118 сайтів.
  2. Позначте кожне правило як «навчання» або «відповіді». Правило, що блокує OAI-SearchBot, ChatGPT-User, Claude-User, PerplexityBot, Bingbot або Googlebot, має бути там лише тому, що ви свідомо так вирішили.
  3. Якщо хочете відмовитися від навчання, додайте окрему групу __usage_ai-training. Правила для GPTBot, ClaudeBot і Google-Extended поки залиште. Свідомо вирішіть, чи готові ви втратити відповіді в застосунках Gemini.
  4. Якщо використовуєте NoArchive чи NoCache для Bing, сплануйте перехід до 1 березня 2027 року. Перенесіть навчання в нову групу robots.txt, а grounding — у теги на рівні сторінок.
  5. Після кожної зміни знову перевіряйте логи. Боти для відповідей і далі мають отримувати відповідь 200.

Почніть із першого кроку сьогодні. Він займе небагато часу і покаже, які рішення ваш сайт уже ухвалив без вас.

Часті питання

Якщо заблокувати GPTBot, мій сайт зникне з пошуку ChatGPT?

Ні. GPTBot визначає, чи використовується ваш контент для навчання. OAI-SearchBot визначає, чи може ваш сайт з'являтися в результатах пошуку ChatGPT, і ці два налаштування задаються незалежно. ChatGPT-User відкриває сторінки, які користувач просить ChatGPT відкрити.

Що таке __usage_ai-training і чи він уже працює?

Це спільна група в robots.txt, через яку можна висловити вибір щодо навчання AI. Її описує чернетка IETF (Internet-Draft). У великих вендорів вона ще не працює: Microsoft почне її застосовувати з 1 лютого 2027 року, Google планує підтримку у 2027-му, OpenAI обіцяє найближчими місяцями. А доти діють ваші наявні правила для окремих ботів, як-от GPTBot і Google-Extended.

Якщо відмовитися від навчання AI, я зникну з Gemini?

Може статися. Google трактуватиме відмову через спільний токен як заборону для Google-Extended. За даними медіа, Google-Extended охоплює і grounding у застосунках Gemini. Google Пошуком, AI Overviews і AI Mode керує Googlebot, тож на них відмова не впливає.

Чи вважається User-Agent: * Disallow відмовою від навчання AI?

За новою чернеткою — ні. Групу із зірочкою не можна трактувати як вибір щодо навчання. Файл robots.txt без групи __usage_ai-training не виражає жодного спільного вибору. Якщо хочете відмовитися від навчання, потрібна окрема група.

Я використовую NoArchive або NoCache для Bing. Що мені робити?

Сплануйте перехід до 1 березня 2027 року. Після цієї дати Bing перестане враховувати NoArchive і NoCache для навчання та grounding. Навчання налаштовуйте групою __usage_ai-training у robots.txt, а grounding — метатегами на рівні сторінок або заголовком X-Robots-Tag.

Якщо я пущу AI-ботів на сайт, AI-асистенти мене згадуватимуть?

Не обов'язково. Microsoft прямо каже, що жоден варіант не гарантує включення, трафіку чи оплати. Відкритий доступ робить ваші сторінки придатними для відповідей. Чи назве вас асистент, залежить від чітких, унікальних фактів на ваших сторінках і від того, що про вас кажуть інші джерела.

Читайте також.

llms.txt і AI Page для вашого сайту ми складаємо самі.

Basic

$29/ міс. за сайт

або $290 на рік, 2 місяці безкоштовно

  • AI Page і файл для AI-ботів, оновлення щомісяця
  • Щотижнева перевірка сайту й список виправлень
  • Підсумок запитів AI-ботів

30 днів на повернення коштів · скасування будь-коли