
AI боттарына арналған robots.txt әр ботпен жеке жұмыс істейді: «AI-ды» бір түймемен қосып-өшіретін жалпы ереже жоқ. ChatGPT, Claude және Perplexity жауаптарында көрінгіңіз келсе, іздеу краулерлерін (OAI-SearchBot, Claude-SearchBot, PerplexityBot) және пайдаланушы сұрауымен келетін боттарды (ChatGPT-User, Claude-User, Perplexity-User) ашық қалдырыңыз. GPTBot, ClaudeBot, Google-Extended және Applebot-Extended сияқты оқыту краулерлері мен токендерін жабу — бөлек шешім. OpenAI өз краулерлерінің әр баптауы бір-бірінен тәуелсіз екенін айтады.
Robots.txt — сайттың түбір каталогында тұратын қарапайым мәтіндік файл (yoursite.kz/robots.txt). Ол краулерлерге қай беттерді жүктеуге болатынын айтады; краулер дегеніміз — сайт беттерін автоматты түрде аралап оқитын бот. 2026 жылғы 2 қарашада ChatGPT тұтынушылық өнімінің басшысы Адам Фрай ChatGPT-дегі іздеуге ұқсас сұраулар көлемі Google көлемінің шамамен бестен біріне жеткенін айтты.
Бұл санға сақтықпен қараңыз. Баспасөз хабарларына қарағанда, OpenAI пайдаланушы сұрағы веб-іздеуді іске қосқан жағдайды ғана іздеу деп санайды, ал Фрай абсолюттік сан келтірмеген. MarketingProfs AI Update де OpenAI Google-мен салыстырудың дереккөзін атамағанын атап өтті.
Үлес нақты қанша болса да, ChatGPT сіздің беттеріңізді осы жауаптарда оның іздеу краулері оларға жете алғанда ғана көрсете алады. Бұл нұсқаулық осы техникалық қадам туралы: қажетті боттар сайтыңызға кіре ала ма, соны тексереміз.
Сайттар AI боттарын неге байқаусызда бұғаттап қояды?
ChatGPT немесе Claude үшін жабылған есік көбіне ешкімнің саналы шешімі емес. Ол әдепкі баптаудан, басқа жерден көшірілген ережеден немесе қауіпсіздік құралынан пайда болады. Алдымен осы төрт себепті тексеріңіз.
CDN мен хостингтегі «AI боттарын бұғаттау» қосқыштары
CDN (контент жеткізу желісі) — серверіңіз бен келушілер арасында тұратын сервис. Ол сайтты жылдамдатып, трафикті сүзеді. 2025 жылғы 1 шілдеде Cloudflare жаңа домендер үшін белгілі AI краулерлерін әдепкі бойынша бұғаттайтынын жариялады. Иелері оларға рұқсат беруді таңдай алады, сондай-ақ Cloudflare басқарылатын robots.txt ұсынады.
Доменіңіз Cloudflare-ге осы күннен кейін қосылса немесе біреу «AI-ды бұғаттау» опциясын басып қойса, AI боттары robots.txt-ті көрмей жатып тоқтатылуы мүмкін. Баптауды ашып, ол қай боттарды қамтитынын қараңыз. Жалпы «AI боттары» қосқышы оқыту краулерлерімен қатар іздеу краулерлеріне де әсер етуі мүмкін. Хостинг панеліңізде және басқа CDN-дерде де осындай опцияларды іздеңіз.
Көшірілген ережелер және жаппай Disallow
Кейбір сайттар әлі күнге дейін User-agent: * және одан кейін Disallow: / жолын береді. Бұл көбіне тестілік сайттан немесе редизайннан қалып қойған. Мұндай ереже robots.txt-ті сақтайтын барлық краулерді, соның ішінде AI іздеу краулерлерін де сайтқа кірмеуге шақырады. Басқа сайттар блогтан «барлық AI-ды бұғаттау» деген ұзын тізімді қай боттар аталғанын тексермей көшіріп қояды.
Боттарға 403 немесе тексеру бетін қайтаратын файрвол ережелері
WAF (веб-қосымшаларға арналған файрвол) автоматты көрінетін трафикті бұғаттайды. «Bot fight» режимдері, сұрау жиілігіне шектеу және елдер бойынша бұғаттау AI боттарына 403 (тыйым салынған), 429 (сұрау тым көп) немесе CAPTCHA бетін жіберуі мүмкін. Robots.txt «рұқсат» десе де, бот оқи алатын ештеңе алмайды.
Ескірген бот атаулары
Ескі ереже тізімдерінде көбіне anthropic-ai немесе Claude-Web аталады — бұл Anthropic ClaudeBot-қа дейін қолданған токендер. Anthropic-тің қазіргі құжаттамасында оның орнына үш бот сипатталған: ClaudeBot, Claude-User және Claude-SearchBot. Тек ескі токендер аталған файл қазіргі боттарды қамтымайды. Сіз оқытудан бас тарттым деп ойлауыңыз мүмкін, бірақ шын мәнінде олай емес.
Қай AI краулерлерін жабуға болады және оның бағасы қандай?
OpenAI мен Anthropic оқытуға, іздеу индексіне және пайдаланушы сұраған бетті жүктеуге бөлек боттар ұстайды. Perplexity-де іздеу краулері мен пайдаланушы боты бар. Google мен Apple бөлек оқыту краулерінің орнына бас тарту токендерін қолданады.
Оқыту краулерлері мен токендері: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended
Бұлар контентіңіз болашақ модельдерді оқытуға пайдаланыла ма, жоқ па, соны басқарады. Сіздің ChatGPT, Claude немесе Perplexity іздеу жауаптарында көрінуіңізді шешпейді. Google-Extended-ке мұқият қараған жөн, өйткені ол Gemini Apps-тегі граундингті де қамтиды.
- GPTBot (OpenAI): оған тыйым салсаңыз, контентіңізді OpenAI-дың базалық модельдерін оқытуға пайдаланбау керектігін білдіресіз.
- ClaudeBot (Anthropic): оны шектесеңіз, сайтыңыздың болашақ материалдарын оқыту деректерінен шығару керектігін білдіресіз.
- Google-Extended — бөлек краулер емес, robots.txt токені. Ол Google жинаған контентті Gemini-ді оқытуға және Gemini Apps-тегі граундингке пайдалануға бола ма, соны басқарады. Граундинг — модель жауап беріп жатқан сәтте оған интернеттен жаңа контент беру. Google-Extended сайтыңыздың Google Search-ке енуіне де, ондағы орнына да әсер етпейді.
- Applebot-Extended де беттерді аралап оқымайды. Ол Apple-ге Applebot жинаған деректерді Apple-дің базалық модельдерін оқытуға пайдалануға бола ма, соны айтады. Siri мен Spotlight бұрынғыдай Applebot-ты қолданады.
Іздеу және индекс краулерлері: OAI-SearchBot, Claude-SearchBot, PerplexityBot
Бұл боттар AI ассистенттері сұраққа жауап бергенде іздейтін индексті жасайды. Оларды жабудың зияны ең тікелей. OpenAI OAI-SearchBot-тан бас тартқан сайттар «ChatGPT іздеу жауаптарында көрсетілмейді» дейді, бірақ навигациялық сілтеме ретінде шыға беруі мүмкін. Anthropic Claude-SearchBot-ты өшіру пайдаланушы іздеу нәтижелеріндегі көрінуіңізді және дәлдігін төмендетуі мүмкін дейді. Perplexity PerplexityBot-ты сайттарды өз іздеу нәтижелерінде көрсетіп, сілтеме беретін бот ретінде сипаттайды және ол базалық модельдерді оқытуға қолданылмайтынын айтады.
Пайдаланушы сұрауымен келетін боттар: ChatGPT-User, Claude-User, Perplexity-User
Бұл боттар бетке адам сұрағанда келеді. Шартты мысал: Алматыдағы стоматология клиникасының клиенті бағалар бетінің сілтемесін ChatGPT-ге қойып, қысқаша мазмұнын сұрайды. OpenAI ChatGPT-User автоматты аралау үшін қолданылмайтынын айтады. Мұндай сұрауды пайдаланушы бастайтындықтан, «robots.txt ережелері қолданылмауы мүмкін». Perplexity те Perplexity-User дәл осы себеппен robots.txt-ті әдетте елемейтінін айтады. Anthropic өз боттары robots.txt-ті сақтайтынын және Claude-User-ді өшіру «пайдаланушы бағыттаған веб-іздеуде сайтыңыздың көрінуін төмендетуі мүмкін» екенін айтады.
Яғни OpenAI мен Perplexity боттарын robots.txt мүлде тоқтатпауы мүмкін. Егер олар бәрібір беттеріңізді оқи алмаса, алдымен файрвол мен CDN ережелеріне қараңыз.
AI краулерлерінің тізімі: иесі, міндеті, жабудың бағасы және ұсынылатын ереже
Соңғы бағандағы ережелер ең жиі кездесетін таңдауға негізделген: оқытуға қатыспау, бірақ AI жауаптарында көріну. Контентіңіз оқытуға пайдаланылса қарсы болмасаңыз, бәріне рұқсат беріңіз.
| Бот / токен | Иесі | Міндеті | Жапсаңыз не жоғалтасыз | Ұсынылатын ереже |
|---|---|---|---|---|
| GPTBot | OpenAI | Модельдерді оқытуға контент жинайды | ChatGPT іздеуінде ештеңе жоғалтпайсыз; бұл оқытудан бас тарту | Disallow (оқытудан бас тартсаңыз) |
| OAI-SearchBot | OpenAI | ChatGPT іздеуі үшін сайттарды индекстейді | ChatGPT іздеу жауаптарында көрсетілмейсіз | Allow |
| ChatGPT-User | OpenAI | Пайдаланушы сұрағанда бетті жүктейді | ChatGPT пайдаланушы үшін бетіңізді аша алмайды | Allow; файрволда бұғаттамаңыз |
| OAI-AdsBot | OpenAI | ChatGPT жарнамасына жіберілген лендингтерді ережеге сәйкестігіне тексереді; OpenAI оның деректері оқытуға қолданылмайды дейді | OpenAI жарнамалық лендингтеріңізді тексере алмайды | ChatGPT-де жарнама берсеңіз, Allow |
| ClaudeBot | Anthropic | Модельдерді оқытуға контент жинайды | Болашақ контентіңіз оқыту деректерінен шығарылады | Disallow (оқытудан бас тартсаңыз) |
| Claude-SearchBot | Anthropic | Claude іздеуі үшін сайттарды индекстейді | Claude іздеу нәтижелерінде көріну мен дәлдік төмендейді | Allow |
| Claude-User | Anthropic | Пайдаланушы сұрағанда бетті жүктейді | Пайдаланушы бағыттаған іздеуде көріну төмендейді | Allow |
| PerplexityBot | Perplexity | Perplexity іздеуінде сайттарды көрсетіп, сілтеме береді | Іздеу краулері сайтыңызды көрсетпейді және сілтеме бермейді | Allow |
| Perplexity-User | Perplexity | Пайдаланушы сұрағанда бетті жүктейді | Perplexity пайдаланушы үшін бетіңізді оқи алмайды | Allow; файрволда бұғаттамаңыз |
| Google-Extended | Токен: Gemini-ді оқыту және Gemini Apps-тегі граундинг | Контент Gemini-ді оқытуға және граундингке қолданылмайды; Google Search-ке әсері жоқ | Өзіңіз шешесіз: оқытудан бас тарту үшін Disallow, Gemini граундингі маңыздырақ болса Allow | |
| Applebot-Extended | Apple | Токен: Apple модельдерін оқыту | Siri мен Spotlight-қа әсері жоқ | Disallow (оқытудан бас тартсаңыз) |
Googlebot пен Bingbot кестеде жоқ, өйткені оларды алмастыратын AI-ға арналған бөлек токен жоқ. Google-дың AI Overviews пен AI Mode функциялары Google-Extended-ке емес, Googlebot-қа және Search-тің әдеттегі баптауларына сүйенеді. Microsoft-та AI оқытуына арналған бөлек токен жоқ. Bing Chat (қазір Copilot) үшін Microsoft контентіңіздің чат жауаптарында қолданылуын шектейтін NOCACHE және NOARCHIVE мета-тегтерін ұсынады. Googlebot немесе Bingbot-ты жапсаңыз, AI жауаптарынан әлдеқайда көп нәрсе жоғалтасыз.
AI краулерлеріне арналған robots.txt үлгісі: оқытуға қатыспай, жауаптарда көріну
Төмендегі үлгіні көшіріп, жабық жолдар мен sitemap мекенжайын өзіңіздікіне ауыстырыңыз. Бір ережелер тобына бірнеше User-agent жолы ортақ бола алады.
# AI іздеу және индекс краулерлері: рұқсат
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /checkout/
Disallow: /account/
# Пайдаланушы сұрауымен келетін боттар: рұқсат
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /
Disallow: /checkout/
Disallow: /account/
# Оқыту краулерлері мен токендері: бас тарту
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
# Қалғандарының бәрі, соның ішінде Googlebot пен Bingbot
User-agent: *
Disallow: /checkout/
Disallow: /account/
Sitemap: https://www.example.com/sitemap.xml
Мына төрт егжей-тегжейді өткізіп алмаңыз:
- Жабық жолдарды әр аталған топта қайталаңыз. Краулер өзіне сәйкес келетін ең нақты топқа ғана бағынады. OAI-SearchBot-ты жеке топта атасаңыз, ол
User-agent: *астындағы ережелердің бәрін, соның ішінде/checkout/ережесін де елемейді. - Google-Extended туралы бөлек шешім қабылдаңыз. Үлгіде ол бас тарту тобында тұр, бірақ Gemini Apps-тегі граундингті де қамтиды. Gemini-де көріну сіз үшін оқытудан бас тартудан маңыздырақ болса, бұл жолды өшіріңіз.
- Sitemap жолында толық URL жазыңыз. Бұл жол файлдың кез келген жерінде тұра алады, бірақ мекенжай абсолюттік болуы керек. Ол шынымен ашылатын sitemap-ке апаруы тиіс.
- Боттарды бұғаттаудың орнына баяулатыңыз. Егер сізді сервер жүктемесі алаңдатса, Anthropic стандартты емес
Crawl-delayережесін қолдайды, мысалыCrawl-delay: 1. Оны тек Anthropic боттары аталған топқа қойыңыз. Бұл оның іздеу краулерін жапқаннан әлдеқайда дұрыс.
Контентіңіз оқытуға да пайдаланылғанын қаласаңыз, оқыту тобын өшіріңіз. Сонда бұл боттар * тобына бағынады. OpenAI GPTBot-қа да, OAI-SearchBot-қа да рұқсат берсеңіз, екі мақсатқа бір аралауды пайдалануы мүмкін екенін ескертеді.
Robots.txt ережелерінің шынымен жұмыс істейтінін қалай тексеруге болады?
Ноутбугыңыздағы дұрыс файл аз нәрсені дәлелдейді. Маңыздысы — әр бот сайтыңызды сұрағанда не алатыны. Мына қадамдарды ретімен орындаңыз.
- CDN мен WAF-тағы бот баптауларын тексеріңіз. AI боттарын бұғаттау қосқыштарын, басқарылатын robots.txt-ті, «bot fight» режимдерін және сұрау жиілігіне шектеулерді іздеңіз. Егер robots.txt-ті CDN басқарса, ол сіз жүктеген файлды ауыстыруы немесе оған өз жолдарын қосуы мүмкін.
- Әр хосттағы нақты robots.txt-ті ашыңыз.
yoursite.kz,www.yoursite.kzжәне контент беретін әр субдоменді тексеріңіз — әр хостқа өз файлы керек. Жауап HTML бет, кіру терезесі немесе CAPTCHA емес, қарапайым мәтінмен 200 кодын қайтаруы тиіс. Robots Exclusion Protocol (RFC 9309) бойынша robots.txt сервер қатесін (5xx) қайтарса немесе қолжетімсіз болса, краулерлер мұны толық тыйым деп қабылдауға міндетті. - Әр user-agent тобын тексеріңіз. Файлды әр боттың көзімен оқыңыз: оны атайтын топты табыңыз, ондай топ болмаса —
*тобын алыңыз. Содан кейін нәтиже жоғарыдағы кестеге сәйкес келетінін тексеріңіз. Қате жазылуға мән беріңіз: бот атауы қате жазылса, ешбір бот қолданбайтын топ пайда болады. - Сервер логтарын оқыңыз. User agent бойынша GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot және Perplexity-User сұрауларын сүзіңіз. 403, 429 және 5xx жауаптарын іздеңіз. Google-Extended пен Applebot-Extended логта ешқашан шықпайды, өйткені олар краулер емес, токен. OpenAI OAI-SearchBot пен GPTBot файлды жүктегенде user agent-ке «robots.txt» белгісін қосуы мүмкін дейді, сондықтан бұл сұрауларды бет сұрауларынан ажырата аласыз.
- Боттарды ақ тізімге қоспас бұрын IP бойынша тексеріңіз. User agent-ті кез келген адам жасанды түрде көрсете алады. OpenAI IP ауқымдарын openai.com/searchbot.json, openai.com/gptbot.json және openai.com/chatgpt-user.json мекенжайларында жариялайды және OAI-SearchBot ауқымдарына рұқсат беруді ұсынады. Perplexity де өз боттарының ауқымдарын жариялайды. Anthropic үшін оның анықтама бетіндегі тексеру нұсқауларын орындаңыз.
- Sitemap сілтемесін тексеріңіз. Robots.txt-тегі Sitemap URL-ін ашыңыз. Оның ашылатынына, боттар үшін жабық еместігіне және қызметтер, бағалар, байланыс сияқты маңызды беттерді қамтитынына көз жеткізіңіз.
- Күтіп, қайта тексеріңіз. OpenAI robots.txt жаңартылғаннан кейін іздеу жүйелеріне бейімделу үшін шамамен 24 сағат қажет болуы мүмкін дейді. Осыдан кейін логтарды қайта қараңыз.
Шикі логтарды апта сайын оқу көп уақыт алады. Pulse мұны сіз үшін жасайды: ChatGPT, Claude, Gemini және басқа сервистердің қай AI боттары сайтыңызға шынымен келетінін, нені оқитынын және қай жерде қателерге тап болатынын көрсетеді. Әр мәселеге не өзгерту керегі туралы кеңес беріледі.

Robots.txt нені істей алмайды?
Robots.txt — құлып емес, өтініш. RFC 9309 оның ережелері «қолжетімділікті авторизациялау құралы емес» екенін айтады. Тәртіпті краулерлер оларды сақтайды, бірақ ешкім мәжбүрлемейді. 2025 жылғы тамызда Cloudflare Perplexity аралауға тыйым салатын ережелерді айналып өту үшін жарияланбаған краулерлерді қолданғанын хабарлады. Perplexity мұны жоққа шығарды. Контентті жабық ұстау керек болса, оны логин арқылы ғана қолжетімді етіңіз.
Robots.txt — AI жүйелеріне жібере алатын бірнеше сигналдың бірі ғана. 2026 жылғы llms.txt және AI краулерлеріне арналған басқа сигналдар туралы зерттеуімізде llms.txt, мета-тегтер және басқа нұсқалар қарастырылып, әрқайсысы не істейтіні түсіндіріледі.
Осы аптада не істеу керек?
Ең жылдам тексеруден бастаңыз. Браузерде yoursite.kz/robots.txt бетін ашыңыз. OAI-SearchBot, Claude-SearchBot және PerplexityBot топтарын тауып, содан кейін CDN-дегі бот баптауларын тексеріңіз. Бірнеше минутта AI жауаптарын құрайтын боттар сайтыңызға жете ала ма, жоқ па — соны білесіз.
Толық көріністі бірден алу үшін тегін AI тексеруінен өтіңіз. Ол AI бизнесіңізді қалай көретінін және басқаны емес, сізді атауы үшін не істеу керегін көрсетеді.
Жиі қойылатын сұрақтар
GPTBot-ты жапсам, ChatGPT сайтыма сілтеме бермей ме?
Жоқ. GPTBot OpenAI модельдерін оқытуға пайдаланылуы мүмкін контентті жинайды, ал OpenAI әр краулер баптауы тәуелсіз екенін айтады. ChatGPT іздеуі OAI-SearchBot-қа сүйенеді, сондықтан GPTBot-қа тыйым салып, OAI-SearchBot-қа рұқсат бере аласыз. Рұқсат беру сілтемені мүмкін етеді, бірақ оған кепілдік бермейді.
ChatGPT-User robots.txt ережелерін сақтай ма?
Әрдайым емес. OpenAI сұрауды пайдаланушы бастайтындықтан robots.txt ережелері ChatGPT-User-ге қолданылмауы мүмкін дейді. Perplexity де дәл осы себеппен Perplexity-User robots.txt-ті әдетте елемейтінін айтады. Anthropic өз боттары, соның ішінде Claude-User да, robots.txt-ті сақтайтынын айтады. Бұл боттар беттеріңізге жете алмаса, файрвол мен CDN ережелерінде 403 жауаптары немесе тексеру беттері бар-жоғын қараңыз.
Google-Extended-ті жапсам, Google AI Overviews-тен шығып қаламын ба?
Жоқ. Google-Extended контентіңіз Gemini-ді оқытуға және Gemini Apps-тегі граундингке пайдаланыла ма, соны басқарады. Ол Google Search-ке енуіңізге де, ондағы орныңызға да әсер етпейді. AI Overviews пен AI Mode Googlebot-қа және Search-тің әдеттегі баптауларына сүйенеді.
GPTBot пен ClaudeBot-ты қазір жапсам, бұрынғы контентім оқыту деректерінен өшіріле ме?
Бұған сенбеңіз. Anthropic құжаттамасында ClaudeBot-ты шектеу сайтыңыздың болашақ материалдарын оқыту деректерінен шығаратыны айтылған. Бұғаттауды бұрын жиналған деректерді өшіру туралы өтініш емес, болашаққа арналған сигнал ретінде қабылдаңыз.
Robots.txt-ті өзгерткеннен кейін ChatGPT іздеуі қанша уақытта жаңарады?
OpenAI robots.txt жаңартылғаннан кейін оның іздеу жүйелеріне бейімделу үшін шамамен 24 сағат қажет болуы мүмкін дейді. Осыдан кейін сервер логтарын қарап, OAI-SearchBot 200 жауабын алып жатқанына көз жеткізіңіз.
Cloudflare AI боттарын әдепкі бойынша бұғаттай ма?
Cloudflare 2025 жылғы 1 шілдеде жаңа домендер үшін белгілі AI краулерлерін әдепкі бойынша бұғаттайтынын және иелері оларға рұқсат беруді таңдай алатынын жариялады. AI боттары сайтыңызға жетпесе, Cloudflare-дегі бот және AI краулерлері баптауларын, сондай-ақ басқарылатын robots.txt-ті тексеріңіз.