Усі матеріали

Інструкція 9 хв читання

Як відстежити трафік AI-ботів: чому GA4 його не бачить і що я вимірював би натомість

Рядок chatgpt.com у GA4 показує лише останній клік. Те, як AI читає ваш сайт, видно в логах сервера та CDN.

Щоб відстежити трафік AI-ботів, відкрийте логи доступу сервера або логи CDN і відфільтруйте їх за user agent AI-ботів: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot. GA4 цього не покаже. Він фіксує людей, які перейшли з відповіді AI, а не сам AI, що прочитав ваш сайт, щоб цю відповідь написати.

Я вважаю, що більшість компаній оцінює свою видимість в AI не за тим звітом. Замість рядка chatgpt.com у реферальних джерелах я дивився б на три числа: які AI-боти запитують які сторінки, які коди відповіді вони отримують і чи з'являються в логах фетчери, яких запускає користувач.

Чому звіт GA4 про «AI-трафік» пропускає більшу частину

GA4 працює через JavaScript-тег, який виконується в браузері відвідувача. AI-краулери зазвичай завантажують HTML і ваші скрипти не запускають. Аналіз мережі Vercel за грудень 2024 року показав: великі AI-краулери завантажують JavaScript-файли, але не виконують їх. Скрипт не запустився — тег не спрацював.

До того ж Google відсіює ботів свідомо. GA4 автоматично виключає трафік відомих ботів і павуків, і вимкнути це чи побачити, скільки відсіяно, не можна. Тож навіть бот, який раптом виконав би тег, до ваших звітів не потрапить.

Лишаються реферальні переходи з chatgpt.com, perplexity.ai та подібних сайтів. За кожним таким візитом — людина, яка вже отримала відповідь і вирішила клікнути. А чимало відповідей закінчуються без кліку.

Умовний приклад: стоматологія у Львові, чию сторінку з цінами ChatGPT читає, перш ніж відповісти користувачеві, скільки коштує профілактичний огляд. Людина одразу телефонує в клініку. Візит, який вирішив справу, у GA4 так і не з'являється, хоча відповідь дала саме сторінка клініки.

Що насправді бачить кожен інструмент

ІнструментЩо фіксуєЧого не бачить
GA4Сесії людей, зокрема переходи з AI-асистентівКраулерів і фетчерів. Відомих ботів виключено за задумом
Clarity Agent ActivityСесії, де AI-агент керує справжнім браузером і тег спрацьовуєКраулерів, які лише завантажують HTML; агентів від операторів, яких Clarity не розпізнає
Clarity AI Bot ActivityЯк AI-краулери та інші боти отримують доступ до вашого контенту (потрібне окреме налаштування)Охоплення залежить від налаштування; дивіться документацію Microsoft
Логи доступу сервераКожен запит: IP, URL, код відповіді, user agentЗапити, на які CDN відповів із кешу
Логи CDNКожен запит на рівні CDN, зокрема відповіді з кешу та блокування файрволомЗ боку запитів — нічого, але на деяких тарифах логи зберігаються недовго

Microsoft Clarity тепер рахує AI-агентів як окрему категорію аналітики

Найпомітніший сигнал, що ринок змінився, з'явився цього місяця. 4 листопада 2026 року Microsoft анонсувала Agentic Analytics у Clarity, а MarketingProfs написав про це в огляді від 6 листопада. Дашборд Agent Activity показує, які агенти заходять на сайт і що там роблять: пошук, надсилання форм, вхід в акаунт, завантаження, запис на прийом, оформлення замовлення. За словами Microsoft, кількість сесій агентів на тиждень майже подвоїлася за три тижні й наблизилася до 2 мільйонів. Це дані самої Clarity, а не всього інтернету.

Є й обмеження. Поки що Clarity розпізнає агентів лише трьох операторів: OpenAI, Google та Anthropic. У дослідженні від 29 жовтня Microsoft повідомила, що агенти доходять до оформлення замовлення частіше, ніж люди. Проте сама Microsoft застерігає, що в цих сесіях могли брати участь люди, яким агент передав керування. А PPC Land, як повідомляє Relevant Audience, знайшов арифметичну розбіжність у відсотках. Я б не будував планів на цих цифрах.

Для краулерів у Clarity є окремий дашборд AI Bot Activity — у розділі Dashboards → AI Visibility. Налаштовують його в Settings → AI Visibility; що для цього потрібно вашому сайту, дивіться в документації Microsoft. Метрика «AI crawl request share» показує частку AI-ботів серед усіх запитів сторінок.

Отже, Microsoft рахує людей, агентів і краулерів окремо. Думаю, у ваших звітах має бути так само.

Які три числа я вимірював би натомість

1. Які AI-боти запитують які сторінки

Почніть з охоплення. Чи доходять боти до сторінок із цінами, послугами, графіком роботи та контактами? Чи витрачають візити на головну й старі статті в блозі? AI потрібні чіткі, конкретні факти про ваш бізнес. Якщо боти не запитують сторінок, де ці факти лежать, — це перша прогалина, яку варто закрити.

2. Які коди відповіді вони отримують

Код відповіді — це тризначне число, яким сервер відповідає на кожен запит. 200 означає «усе гаразд», 301 — «сторінку перенесено», 404 — «не знайдено», 5xx — помилка сервера. У грудневому аналізі 2024 року Vercel повідомив, що краулери ChatGPT і Claude витрачали приблизно третину запитів на сторінки 404.

Шукайте 404, помилки 5xx, блокування 403 від файрволу та ланцюжки редиректів. І ще одну, тихішу проблему: відповідь 200 на сторінці, яка будується лише JavaScript, — бот отримує порожню оболонку замість вашого контенту.

3. Чи з'являються ChatGPT-User і Claude-User

Це фетчери, яких запускає користувач. Вони заходять на вашу сторінку, бо хтось щойно поставив питання ChatGPT чи Claude. З усього, що є в логах, це найближча ознака того, що відповідь складають на основі вашого сайту.

Це сигнал, а не доказ: запит ще не означає, що ваш бізнес назвали у відповіді. Тому я поєдную його з відстеженням того, що AI насправді про вас каже. Про це нижче.

Навчання, пошук чи запит користувача: як розрізняти AI-ботів

ОператорUser agentПризначенняrobots.txtОпублікований список IP
OpenAIGPTBotНавчанняДотримуєтьсяgptbot.json
OpenAIOAI-SearchBotПошук у ChatGPTДотримуєтьсяsearchbot.json
OpenAIChatGPT-UserДії користувачівМоже не застосовуватисяchatgpt-user.json
AnthropicClaudeBotНавчанняДотримуєтьсяНе підтверджено; дивіться довідку Anthropic
AnthropicClaude-SearchBotЯкість пошукуДотримуєтьсяНе підтверджено; дивіться довідку Anthropic
AnthropicClaude-UserПитання користувачівДотримуєтьсяНе підтверджено; дивіться довідку Anthropic
PerplexityPerplexityBotРезультати пошукуДотримуєтьсяТак
PerplexityPerplexity-UserДії користувачівЗазвичай ігноруєТак

Джерела: OpenAI, Anthropic, Perplexity. У Google інакше. Google-Extended — це лише токен для robots.txt без власного user agent, тож окремим рядком у логах він ніколи не з'явиться.

Як відстежити трафік AI-ботів у логах доступу

  1. Знайдіть логи. На nginx вони зазвичай лежать у /var/log/nginx/access.log. На Apache — у /var/log/apache2/ або /var/log/httpd/. На віртуальному хостингу шукайте в панелі керування. На CDN — у налаштуваннях експорту логів або аналітики.
  2. Збережіть рядки AI-ботів в окремий файл: grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User" access.log > ai-bots.log
  3. Порахуйте сторінки й коди відповіді для одного бота: grep -i "ChatGPT-User" ai-bots.log | awk '{print $9, $7}' | sort | uniq -c | sort -rn | head -20. У стандартному форматі combined поле 9 — це код відповіді, а поле 7 — URL.
  4. Подивіться розподіл кодів відповіді для всіх AI-ботів: awk '{print $9}' ai-bots.log | sort | uniq -c
  5. Складіть список IP для перевірки: awk '{print $1}' ai-bots.log | sort | uniq -c | sort -rn
  6. Щотижня зберігайте знімок, щоб порівнювати стан до і після кожного виправлення.

Якщо не хочеться розбирати логи вручну, Pulse показує, які AI-боти заходять на ваш сайт, що читають і де натрапляють на помилки. До кожної проблеми він підказує, що змінити.

Запити AI-ботів на демонстраційному сайті: які боти ChatGPT, Claude, Gemini та Perplexity приходили і які сторінки читали. Це перше з трьох чисел.
Запити AI-ботів на демонстраційному сайті: які боти ChatGPT, Claude, Gemini та Perplexity приходили і які сторінки читали. Це перше з трьох чисел. (кабінет Chetver на демо-сайті)

Як перевірити, що «GPTBot» справді GPTBot

Скопіювати рядок user agent може будь-хто. Cloudflare повідомляв про незадекларованих краулерів, які маскувалися під звичайні браузери й змінювали IP. Тож назва бота в лозі — це заява, а не доказ.

  • Списки IP. Звіряйте IP з JSON-файлами, які публікують OpenAI та Perplexity. Google теж публікує власні списки.
  • Reverse DNS. Для Google виконайте зворотний запит за IP (наприклад, host 66.249.66.1). Переконайтеся, що ім'я хоста закінчується на googlebot.com, google.com або googleusercontent.com. Потім зробіть прямий запит за цим ім'ям і перевірте, що він повертає той самий IP.
  • Немає опублікованого списку. Якщо оператор не публікує діапазонів IP, повністю перевірити його ботів не вийде. Позначайте такі рядки у звітах як «заявлені», а не «перевірені».
  • Підробки. Рахуйте їх окремо, щоб вони не роздували ваші цифри. Якщо вони навантажують сервер, блокуйте їх на файрволі й перевірте, що правило не зачіпає справжніх ботів.

Що виправляти насамперед

  1. Помилки 5xx, таймаути та блокування файрволом, на які натрапляють перевірені AI-боти.
  2. 404 на тих URL, які боти справді запитують. Налаштуйте редирект на актуальну сторінку.
  3. Ланцюжки редиректів. Ведіть кожну стару адресу одразу на кінцеву.
  4. Сторінки, що віддають порожню HTML-оболонку. Ключові факти мають бути в HTML, який надсилає сервер, а не підвантажуватися скриптами пізніше.
  5. Правила robots.txt або налаштування ботів у CDN, які випадково блокують пошукових ботів чи фетчерів користувачів. Про robots.txt та інші сигнали йдеться в дослідженні Chetver про llms.txt та інші сигнали для AI-краулерів у 2026 році.

Такі технічні дрібниці рідко здаються терміновими. Проте саме вони непомітно позбавляють бізнес згадок у відповідях AI.

Де реферальним переходам усе ж місце у звітності

GA4 залишайте. Реферальні переходи — справжній результат, і вони показують, які візити з AI перетворюються на заявки. Просто вважайте їх фінальним результатом, а не всією воронкою.

Логи показують, що потрапляє на вхід: що AI читає. Відстеження згадок показує, що виходить: що AI каже. Як виміряти цю останню частину, пояснює дослідження Chetver про Share of Model. Маючи всі три джерела, ви можете внести одну зміну й виміряти її ефект, а не гадати.

Що я зробив би на вашому місці

  1. Цього тижня вивантажте логи доступу або логи CDN за тиждень і запустіть grep, наведений вище.
  2. Запишіть три числа: боти за сторінками, коди відповіді та як часто з'являються ChatGPT-User і Claude-User.
  3. Перевірте IP за найбільшими рядками «AI-ботів» і відкладіть підробки окремо.
  4. Виправляйте помилки в порядку, наведеному вище, починаючи з 5xx і блокувань на сторінках із цінами та послугами.
  5. За місяць зробіть такий самий знімок і порівняйте. Жоден із цих кроків не гарантує згадки. Вони лише прибирають видимі перешкоди — а це та частина, яку ви контролюєте.

Часті питання

Чи може GA4 відстежувати візити GPTBot або ClaudeBot?

Ні. GA4 залежить від JavaScript-тегу, який краулери зазвичай не виконують, а відомих ботів Google виключає з GA4 автоматично. GA4 показує лише людей, які перейшли з відповідей AI. Щоб побачити самих краулерів, використовуйте логи доступу сервера або логи CDN.

Microsoft Clarity відстежує AI-краулерів чи лише AI-агентів?

У Clarity два окремі дашборди. Agent Activity охоплює AI-агентів від OpenAI, Google та Anthropic, які керують справжнім браузером на вашому сайті. AI Bot Activity у розділі Dashboards → AI Visibility показує, як краулери отримують доступ до вашого контенту. Його налаштовують окремо в Settings → AI Visibility.

Якщо ChatGPT-User зайшов на сайт, це означає, що ChatGPT згадав мій бізнес?

Не обов'язково. ChatGPT-User завантажує сторінку, коли вона потрібна для запиту користувача, тож це найближчий сигнал у логах, що відповідь складають на основі вашого сайту. Щоб знати, чи ваш бізнес справді назвали, відстежуйте самі відповіді.

Чи виконують AI-краулери JavaScript?

За аналізом мережі Vercel за грудень 2024 року, великі AI-краулери завантажують JavaScript-файли, але не виконують їх. Контент, що з'являється лише після запуску скриптів у браузері, може бути для них невидимим. Розміщуйте ціни, послуги й контакти в HTML, який надсилає сервер.

Як зрозуміти, що запит від GPTBot підроблений?

Звірте IP запиту з опублікованим списком OpenAI у файлі gptbot.json. Для OAI-SearchBot і ChatGPT-User зробіть те саме з їхніми файлами. Якщо IP у списку немає, вважайте запит неперевіреним, хоч би що було написано в user agent. Якщо оператор не публікує списку IP, позначайте його рядки як заявлені, а не перевірені.

Читайте також.

llms.txt і AI Page для вашого сайту ми складаємо самі.

Basic

$29/ міс. за сайт

або $290 на рік, 2 місяці безкоштовно

  • AI Page і файл для AI-ботів, оновлення щомісяця
  • Щотижнева перевірка сайту й список виправлень
  • Підсумок запитів AI-ботів

30 днів на повернення коштів · скасування будь-коли