Барлық материалдар

Нұсқаулық 8 мин оқу

AI боттарының трафигін қалай бақылауға болады: GA4 неге көрмейді, мен нені өлшер едім

GA4-тегі chatgpt.com жолы тек соңғы кликті көрсетеді. AI сайтыңызды оқитын кезең сервер мен CDN логтарында жазылады.

AI боттарының трафигін бақылау үшін сервердің кіру логтарын (access logs) немесе CDN логтарын ашып, оларды GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User және PerplexityBot сияқты AI user-agent атаулары бойынша сүзіңіз. GA4 бұл жұмысты атқара алмайды. Ол AI жауабынан сілтеме арқылы өткен адамдарды ғана жазады, ал сол жауапты жазу үшін сайтыңызды оқыған AI-ды көрмейді.

Менің ойымша, бизнестердің көбі AI-дағы көрінуін бағалау үшін қате есепке қарайды. Мен chatgpt.com referral жолының орнына үш санды қояр едім: қай AI боттар қай беттерді сұрайды, олар қандай статус-код алады және пайдаланушы сұрауымен келетін боттар мүлде көріне ме.

GA4-тегі «AI трафигі» есебі неге оның көп бөлігін көрмейді

GA4 келушінің браузерінде іске қосылатын JavaScript тегі арқылы жұмыс істейді. AI краулерлері әдетте HTML-ді жүктеп алады, бірақ скрипттеріңізді іске қоспайды. Vercel өз желісі бойынша 2024 жылғы желтоқсанда жүргізген талдауда ірі AI краулерлері JavaScript файлдарын жүктейтінін, бірақ орындамайтынын анықтады. Скрипт іске қосылмаса, тег те жұмыс істемейді.

Оның үстіне Google боттарды әдейі сүзеді. GA4 белгілі боттар мен краулерлердің трафигін автоматты түрде шығарып тастайды, ал сіз мұны өшіре де, қанша трафик алынып тасталғанын көре де алмайсыз. Демек, тегті іске қосқан бот болса да, ол есептеріңізге жетпейді.

Қолда chatgpt.com, perplexity.ai және сол сияқты сайттардан келген referral трафигі ғана қалады. Мұндай әр келу — жауапты алып болған және сілтемені басуды шешкен адам. Ал көп жауап ешқандай кликсіз аяқталады.

Шартты мысал: Алматыдағы стоматология клиникасы. ChatGPT пайдаланушыға тексеру қанша тұратынын айтпас бұрын клиниканың баға бетін оқиды. Пайдаланушы сайтқа өтпей, бірден клиникаға қоңырау шалады. Жауапты клиниканың өз беті берсе де, шешуші болған сол келу GA4-те ешқашан көрінбейді.

Әр құрал нақты нені көреді

ҚұралНені жазадыНені көрмейді
GA4Адамдардың сессиялары, соның ішінде AI ассистенттерінен келген referralКраулерлер мен пайдаланушы боттары. Белгілі боттар әдейі шығарылып тасталады
Clarity Agent ActivityAI агенті нақты браузерді басқаратын және тег іске қосылатын сессияларТек HTML жүктейтін краулерлер; Clarity анықтамайтын операторлардың агенттері
Clarity AI Bot ActivityAI краулерлері мен басқа боттардың контентіңізге қалай қол жеткізетіні (бөлек баптауды қажет етеді)Қамту баптауға байланысты; Microsoft құжаттамасын қараңыз
Сервердің кіру логтарыӘр сұрау: IP, URL, статус-код, user-agentCDN кэштен жауап берген сұраулар
CDN/edge логтарыEdge деңгейіндегі әр сұрау, кэштен берілгендер мен файрвол бұғаттаулары даСұраулар жағынан ештеңе, бірақ кейбір тарифтер логтарды қысқа уақыт қана сақтайды

Microsoft Clarity енді AI агенттерін аналитиканың жеке санаты ретінде қарайды

Нарықтың өзгергенінің ең айқын белгісі осы айда пайда болды. 2026 жылғы 4 қарашада Microsoft Clarity-де Agentic Analytics іске қосылғанын жариялады, ал MarketingProfs бұл туралы 6 қарашадағы шолуында жазды. Agent Activity дашборды сайтқа қай агенттер келетінін және олардың онда не істейтінін көрсетеді: іздеу, форма жіберу, жүйеге кіру, жүктеп алу, қабылдауға жазылу және тапсырысты рәсімдеу. Microsoft мәліметінше, агенттердің апталық сессиялары үш аптада екі есеге жуық өсіп, 2 миллионға жақындаған. Бұл сан бүкіл интернет бойынша емес, Clarity-дің өз деректерінен алынған.

Шектеулер де бар. Әзірге Clarity тек үш оператордың — OpenAI, Google және Anthropic-тің агенттерін анықтайды. Microsoft-тың 29 қазандағы зерттеуінде агенттер тапсырысты рәсімдеуге адамдардан жиірек жетеді делінген. Бірақ Microsoft-тың өзі бұл сессиялардың ішінде адамға берілген әрекеттер болуы мүмкін екенін ескертеді. Сонымен қатар, Relevant Audience хабарлағандай, PPC Land пайыздардан арифметикалық сәйкессіздік тапқан. Мен бұл сандарға сүйеніп жоспар құрмас едім.

Clarity-де краулерлерге арналған жеке AI Bot Activity дашборды да бар, ол Dashboards → AI Visibility бөлімінде орналасқан. Оны Settings → AI Visibility арқылы баптайсыз. Сайтыңызға не қажет екенін Microsoft құжаттамасынан тексеріңіз. Ондағы «AI crawl request share» метрикасы — барлық бет сұрауларының ішіндегі AI боттардан келген сұраулардың үлесі.

Сонымен, Microsoft адамдарды, агенттерді және краулерлерді бөлек санайды. Менің ойымша, сіздің есептілігіңіз де солай болуы керек.

Оның орнына мен өлшейтін үш сан

1. Қай AI боттар қай беттерді сұрайды

Қамтудан бастаңыз. Боттар бағаларыңызға, қызметтеріңізге, жұмыс уақытына және байланыс беттеріне жете ме? Әлде басты бет пен ескі блог жазбаларында ғана жүре ме? AI-ға бизнесіңіз туралы анық, нақты фактілер керек. Егер боттар сол фактілер тұрған беттерді ешқашан сұрамаса, алдымен осы олқылықты жабу керек.

2. Олар қандай статус-код алады

Статус-код — сервердің әр сұрауға беретін үш таңбалы жауабы. 200 «бәрі дұрыс» дегенді, 301 «көшірілді» дегенді, 404 «табылмады» дегенді, ал 5xx сервер қатесін білдіреді. Vercel 2024 жылғы желтоқсандағы талдауында ChatGPT пен Claude краулерлері сұрауларының шамамен үштен бірін 404 беттеріне жұмсағанын хабарлады.

404 қателерін, 5xx қателерін, файрволдан келетін 403 бұғаттауларын және редирект тізбектерін іздеңіз. Сондай-ақ байқала бермейтін мәселені де тексеріңіз: тек JavaScript-пен жұмыс істейтін беттегі 200 жауабы, мұнда бот контентіңіздің орнына бос қабықты алады.

3. ChatGPT-User мен Claude-User пайда бола ма

Бұл екеуі пайдаланушы сұрауымен келетін боттар. Олар бетіңізге біреу дәл қазір ChatGPT немесе Claude-қа сұрақ қойғандықтан келеді. Логтардағы барлық белгінің ішінде бұл жауаптың сайтыңыз негізінде құралып жатқанын ең жақын көрсететін белгі.

Бұл дәлел емес, белгі ғана: бот бетті сұрағаны жауапта бизнесіңіздің аталғанын білдірмейді. Сондықтан мен оны AI сіз туралы шын мәнінде не айтатынын бақылаумен қатар қолданамын. Ол туралы төменде.

Оқыту, іздеу немесе пайдаланушы сұрауы: AI боттарын қалай ажыратуға болады

ОператорUser-agentМақсатыrobots.txtЖарияланған IP тізімі
OpenAIGPTBotОқытуСақтайдыgptbot.json
OpenAIOAI-SearchBotChatGPT іздеуіСақтайдыsearchbot.json
OpenAIChatGPT-UserПайдаланушы әрекеттеріҚолданылмауы мүмкінchatgpt-user.json
AnthropicClaudeBotОқытуСақтайдыРасталмаған; Anthropic анықтама бетін қараңыз
AnthropicClaude-SearchBotІздеу сапасыСақтайдыРасталмаған; Anthropic анықтама бетін қараңыз
AnthropicClaude-UserПайдаланушы сұрақтарыСақтайдыРасталмаған; Anthropic анықтама бетін қараңыз
PerplexityPerplexityBotІздеу нәтижелеріСақтайдыИә
PerplexityPerplexity-UserПайдаланушы әрекеттеріӘдетте елемейдіИә

Дереккөздер: OpenAI, Anthropic, Perplexity. Google басқаша жұмыс істейді. Google-Extended — өз user-agent атауы жоқ robots.txt токені ғана, сондықтан ол логтарыңызда ешқашан жеке жол болып көрінбейді.

Кіру логтарынан AI боттарының трафигін қалай бақылауға болады

  1. Логтарды табыңыз. nginx-те олар әдетте /var/log/nginx/access.log ішінде болады. Apache-та /var/log/apache2/ немесе /var/log/httpd/ қалтасын қараңыз. Ортақ хостингте басқару панелін тексеріңіз. CDN-де логтарды экспорттау немесе аналитика баптауларын іздеңіз.
  2. AI жолдарын жеке файлға сақтаңыз: grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User" access.log > ai-bots.log
  3. Бір бот үшін беттер мен статус-кодтарды санаңыз: grep -i "ChatGPT-User" ai-bots.log | awk '{print $9, $7}' | sort | uniq -c | sort -rn | head -20. Әдепкі combined лог форматында 9-өріс — статус-код, 7-өріс — URL.
  4. Барлық AI боттар бойынша статус-кодтардың үлесін алыңыз: awk '{print $9}' ai-bots.log | sort | uniq -c
  5. Тексеретін IP-лердің тізімін шығарыңыз: awk '{print $1}' ai-bots.log | sort | uniq -c | sort -rn
  6. Әр түзетуге дейінгі және кейінгі жағдайды салыстыру үшін әр апта сайын осындай үзінді сақтап отырыңыз.

Логтарды қолмен талдағыңыз келмесе, Pulse сайтыңызға қай AI боттар келетінін, олардың не оқитынын және қай жерде қатеге тап болатынын көрсетеді. Әр мәселе бойынша ол нені өзгерту керегін ұсынады.

Демо-сайттағы AI боттарының сұраулары: ChatGPT, Claude, Gemini және Perplexity-дің қай боттары келгені және қай беттерді оқығаны. Бұл — үш санның біріншісі.
Демо-сайттағы AI боттарының сұраулары: ChatGPT, Claude, Gemini және Perplexity-дің қай боттары келгені және қай беттерді оқығаны. Бұл — үш санның біріншісі. (демо-сайттағы Chetver кабинеті)

«GPTBot» шынымен GPTBot екенін қалай тексеруге болады

User-agent жолын кез келген адам көшіре алады. Cloudflare жалпы браузер user-agent атауларын және ауысып тұратын IP-лерді қолданған жарияланбаған краулерлер туралы хабарлады. Сондықтан логтағы бот атауы — дәлел емес, мәлімдеме ғана.

  • IP тізімдері. IP-лерді OpenAI мен Perplexity жариялайтын JSON файлдарымен салыстырыңыз. Google да өз тізімдерін жариялайды.
  • Reverse DNS. Google үшін IP бойынша кері іздеу жасаңыз (мысалы, host 66.249.66.1). Хост атауы googlebot.com, google.com немесе googleusercontent.com деп аяқталатынын тексеріңіз. Содан кейін сол хост атауы бойынша тура іздеу жасап, ол дәл сол IP-ді қайтаратынына көз жеткізіңіз.
  • Жарияланған тізім жоқ болса. Оператор IP ауқымдарын жарияламаса, оның боттарын толық тексере алмайсыз. Есептеріңізде мұндай жолдарды «расталған» емес, «мәлімделген» деп белгілеңіз.
  • Жалған боттар. Сандарыңызды көбейтіп жібермеуі үшін оларды бөлек санаңыз. Егер жүктеме түсірсе, оларды файрволда бұғаттаңыз және ереже расталған боттарды ұстап қалмайтынын тексеріңіз.

Алдымен нені түзету керек

  1. Расталған AI боттар тап болатын 5xx қателері, тайм-ауттар және файрвол бұғаттаулары.
  2. Боттар шынымен сұрайтын URL-дердегі 404 қателері. Оларды өзекті бетке редирект жасаңыз.
  3. Редирект тізбектері. Әр ескі URL-ді тікелей соңғы мекенжайына бағыттаңыз.
  4. Бос HTML қабығын жіберетін беттер. Негізгі фактілер кейін скрипттермен жүктелмей, сервер жіберетін HTML-дің ішінде тұруы керек.
  5. Іздеу боттарын немесе пайдаланушы боттарын байқаусызда бұғаттайтын robots.txt ережелері немесе CDN бот баптаулары. robots.txt пен басқа белгілер туралы Chetver-дің 2026 жылғы llms.txt және басқа AI-краулер белгілері туралы зерттеуінде толығырақ жазылған.

Бұл техникалық ұсақ-түйектер сирек шұғыл болып көрінеді. Соған қарамастан, олар бизнестерді AI жауаптарындағы аталулардан үнсіз айырады.

Referral кликтерінің есептіліктегі орны қайда

GA4-ті сақтаңыз. Referral кликтері — нақты нәтиже, олар AI-дан келген қай келулер өтінімге айналатынын көрсетеді. Тек оларды бүкіл воронка емес, соңғы нәтиже ретінде қараңыз.

Логтар кіріске не түсетінін көрсетеді: AI нені оқиды. Аталуларды бақылау шығыста не болатынын көрсетеді: AI не айтады. Осы соңғы бөлікті қалай өлшеу керегін Chetver-дің Share of Model зерттеуі түсіндіреді. Үшеуі де қолыңызда болса, болжап отырудың орнына бір өзгеріс енгізіп, оның әсерін өлшей аласыз.

Сіздің орныңызда мен не істер едім

  1. Осы аптада бір апталық кіру логтарын немесе CDN логтарын экспорттап, жоғарыдағы grep командасын іске қосыңыз.
  2. Үш санды жазып алыңыз: беттер бойынша боттар, статус-кодтар және ChatGPT-User мен Claude-User қаншалықты жиі пайда болатыны.
  3. Ең үлкен «AI бот» жолдарының артындағы IP-лерді тексеріп, жалғандарын бөлек қойыңыз.
  4. Қателерді жоғарыдағы ретпен түзетіңіз: бағалар мен қызметтер тұрған беттердегі 5xx қателері мен бұғаттаулардан бастаңыз.
  5. Бір айдан кейін дәл осындай үзінді алып, салыстырыңыз. Мұның ешқайсысы аталуға кепілдік бермейді. Бұл тек көзге көрінетін кедергілерді жояды, ал дәл осы бөлік сіздің бақылауыңызда.

Жиі қойылатын сұрақтар

GA4 GPTBot немесе ClaudeBot келулерін көрсете ала ма?

Жоқ. GA4 краулерлер әдетте іске қоспайтын JavaScript тегіне тәуелді, ал Google белгілі боттарды GA4-тен автоматты түрде шығарып тастайды. GA4 тек AI жауаптарынан сілтеме арқылы өткен адамдарды көрсетеді. Краулерлердің өзін көру үшін сервердің кіру логтарын немесе CDN логтарын пайдаланыңыз.

Microsoft Clarity AI краулерлерін бақылай ма, әлде тек AI агенттерін бе?

Clarity-де екі бөлек дашборд бар. Agent Activity сайтыңызда нақты браузерді басқаратын OpenAI, Google және Anthropic AI агенттерін қамтиды. Dashboards → AI Visibility бөліміндегі AI Bot Activity краулерлердің контентіңізге қалай қол жеткізетінін көрсетеді. Оны Settings → AI Visibility арқылы бөлек баптайсыз.

ChatGPT-User келгені ChatGPT менің бизнесімді атады дегенді білдіре ме?

Міндетті түрде емес. ChatGPT-User бетті пайдаланушының сұрауына қажет болғанда алады, сондықтан бұл логтардағы жауаптың сайтыңыз негізінде құралып жатқанын ең жақын көрсететін белгі. Бизнесіңіздің шынымен аталғанын білу үшін жауаптардың өзін бақылаңыз.

AI краулерлері JavaScript-ті орындай ма?

Vercel өз желісі бойынша 2024 жылғы желтоқсанда жүргізген талдауына сәйкес, ірі AI краулерлері JavaScript файлдарын жүктейді, бірақ іске қоспайды. Браузерде скрипттер іске қосылғаннан кейін ғана пайда болатын контент оларға көрінбеуі мүмкін. Бағаларды, қызметтерді және байланыс деректерін сервер жіберетін HTML-ге орналастырыңыз.

GPTBot сұрауының жалған екенін қалай білуге болады?

Сұраудың IP-ін OpenAI gptbot.json файлында жариялаған тізіммен салыстырыңыз. OAI-SearchBot пен ChatGPT-User үшін де олардың өз файлдарымен солай істеңіз. IP тізімде болмаса, user-agent жолында не жазылғанына қарамастан, сұрауды расталмаған деп санаңыз. Оператор IP тізімін жарияламаса, оның жолдарын расталған емес, мәлімделген деп белгілеңіз.

Мыналарды да оқыңыз.

Сайтыңызға llms.txt пен AI Page-ді өзіміз дайындаймыз.

Basic

$29/ ай, бір сайт үшін

немесе жылына $290, 2 ай тегін

  • AI Page және AI-боттарға арналған файл, ай сайын жаңарады
  • Сайтты апта сайын тексеру және түзетулер тізімі
  • AI-боттар сұрауларының қорытындысы

Ақшаны қайтаруға 30 күн · кез келген уақытта тоқтатуға болады