
Сайтта AI оқытуды бұғаттау керек пе? Мен оны тек мазмұнның өзі сіздің сататын өніміңіз болса ғана бұғаттар едім. Шағын және орта бизнестің көбі үшін оқыту туралы шешім адамдар ойлағандай қорқынышты емес.
Нақты тәуекел басқада: ChatGPT, Copilot, Gemini немесе Perplexity жауап құрастырғанда беттеріңізді алатын боттарды жауып тастау. Сайт иелері оларды көбіне оқыту боттарымен бірге байқамай жабады. Менің ережем қарапайым: оқыту туралы қалай табыс табатыныңызға қарай шешіңіз, ал жауап боттарын ашық қалдырыңыз.
Уақыт маңызды. 2026 жылғы 30 қазанда Microsoft Bing AI оқыту мен AI grounding үшін бөлек, бір-біріне тәуелсіз баптауларды жариялады. Сол күні Google мен OpenAI robots.txt ішіндегі ортақ бір оқыту сигналын ескеретінін айтты. Сайт иелерінің көбі бұл екі таңдауды алғаш рет бөлек жасай алады.
Оқыту мен жауаптар — екі түрлі жұмыс
Мен көрген ең түсінікті анықтамалар — Microsoft-тікі. AI оқыту (training) — мазмұныңызды модельдің үйренген параметрлерін өзгерту үшін пайдалану. AI grounding — мазмұныңызды AI жасаған жауапқа негіз болатын дерек ретінде пайдалану. Беттерді кәдімгі іздеу нәтижелерінде индекстеу мен рейтингтеу бұлардың ешқайсысына жатпайды.
Оқыту жанама әсер етеді: сіздің бетіңіз модель үйренетін көп дереккөздің бірі болады. Grounding біреу сұрақ қойған сәтте болады. Клиент сұрайды, бот бетіңізді алады, ал ассистент сізді атап, сілтеме бере алады. Grounding-ті жапсаңыз, ассистент сол жауап үшін бетіңізді пайдалана алмайды. Ол жауапты басқа дереккөздерден құрастырады, ал олардың арасында бәсекелестеріңіз болуы мүмкін.
Биылғы күзге дейін сайт иелерінің көбі оқыту мен grounding-ті бір шешім деп қарады. 2023 жылдан бері Microsoft екеуін де NoArchive және NoCache арқылы басқарды. Google-дың Google-Extended токені әлі де екеуін қамтиды. «Барлық AI боттарын жабу» деген ұзын тізімдер бұл екі түрді араластырып жіберді. OpenAI, Anthropic және Perplexity-дің боттары бұрыннан бөлек болатын, бірақ құжаттаманы мұқият оқитындар аз.
| Бот немесе токен | Не істейді | Санат |
|---|---|---|
| GPTBot (OpenAI) | Мазмұныңыз оқытуға пайдаланыла ма, соны басқарады | Оқыту |
| OAI-SearchBot (OpenAI) | Сайт ChatGPT іздеу нәтижелерінде шыға ала ма, соны басқарады | Жауаптар |
| ChatGPT-User (OpenAI) | Пайдаланушы ChatGPT-ден сұрағанда бетті ашады | Жауаптар |
| ClaudeBot (Anthropic) | Оқытуға арналған деректерді жинайды | Оқыту |
| Claude-SearchBot, Claude-User (Anthropic) | Іздеу нәтижелерін жақсартады және пайдаланушы сұрақтары үшін беттерді алады | Жауаптар |
| PerplexityBot, Perplexity-User | Сайттарды Perplexity жауаптарында көрсетіп, сілтеме береді; пайдаланушы әрекеттері үшін беттерді алады | Жауаптар |
| Google-Extended (краулер емес, токен) | Gemini-ді оқыту және хабарламаларға қарағанда Gemini қосымшаларындағы grounding | Екеуі де |
| Googlebot, Bingbot | Іздеу, сондай-ақ Google-дың AI Overviews және AI Mode, Microsoft-тың Copilot grounding-і | Жауаптар |
Рөлдер OpenAI краулерлері туралы жарияланымнан, Anthropic анықтама орталығынан, Perplexity краулерлер нұсқаулығынан және Google краулерлерінің тізімінен алынды. Бір нюанс: robots.txt ережелері ChatGPT-User және Perplexity-User сияқты пайдаланушы бастамасымен жұмыс істейтін боттарға қолданылмауы мүмкін, өйткені бетті адам сұрады. Ал желіаралық экран (firewall) оларды тоқтатады. robots.txt синтаксисін мұнда қайталамаймын. Бұл сигналдардың бір-бірімен қалай байланысатынын 2026 жылғы llms.txt және басқа AI-краулер сигналдарының картасынан көре аласыз.
30 қазанда не өзгерді, не өзгермеді
Ортақ сигнал — User-Agent: __usage_ai-training деп аталатын robots.txt тобы. Ол Anthropic қызметкері Кевин Келлидің IETF Internet-Draft құжатынан шыққан. Internet-Draft — бекітілген стандарт емес, жұмыс жобасы. Google бұл токен арқылы бас тартуды Google-Extended тыйымы ретінде қабылдайды, егер Google-Extended-ті жеке атамасаңыз. OpenAI токенді алдағы бірнеше айда ескеретінін айтады, оған дейін қазіргі robots.txt ережелері күшінде қалады. Хабарламаларға қарағанда, Anthropic оны енгізе бастаған, бірақ мен мұны растайтын Anthropic бетін көрген жоқпын.
Өзгермеген нәрсе де сондай маңызды. Жоба бойынша бүгін жарияланған robots.txt файлдары ешқандай ортақ таңдауды білдірмейді, өйткені оларда әзірге бұл топ жоқ. Жұмыс істеп тұрғаны — сіздің қазіргі GPTBot, ClaudeBot және Google-Extended ережелеріңіз. OpenAI, Google және Anthropic әр ботқа арналған баптаулар қолжетімді болып қала беретінін айтады.
| Күні | Не болады |
|---|---|
| 2026 ж. 15 желтоқсан | Bing Webmaster Tools-та уақытша grounding баптаулары ашылады, тек NoArchive/NoCache қолданатын сайттар үшін |
| 2027 ж. 1 ақпан | Bing беттерді қайта аралаған сайын жаңа баптауларды қолдана бастайды |
| 2027 ж. 1 наурыз | Bing оқыту мен grounding үшін NoArchive/NoCache-ты оқуды тоқтатады |
| 2027 ж. 3 мамыр | Қазіргі Internet-Draft мерзімі бітеді |
| 2027 ж. 30 қыркүйек | Bing-тің уақытша grounding баптауларының мерзімі бітеді |
| 2027 ж. / «алдағы айларда» | Google / OpenAI ортақ токенді қолдай бастайды |
Бөліну әлі де толық емес жерлер
Google: оқыту мен Gemini жауаптары бірге жүреді
Search Engine Journal мен Dataconomy жазуынша, Google-Extended Gemini қосымшаларындағы grounding-ті де қамтиды. Олардың айтуынша, Google құжаттамасында бұл екеуін бөлудің жолы сипатталмаған. Яғни жаңа токен арқылы оқытудан бас тартсаңыз, Gemini қосымшаларының жауаптарынан да шығып қалуыңыз мүмкін. Жеке Google-Extended тобы ортақ токеннен басым тұрады, бірақ ол бәрібір екі мақсатқа ортақ бір ауыстырғыш. Google Search, AI Overviews және AI Mode-қа әсер етпейді, өйткені оларды Google-Extended емес, Googlebot басқарады.
Microsoft: grounding әр бетте бөлек бапталады
Bing-те оқытуды бүкіл сайт үшін robots.txt арқылы орнатып, жеке беттерде өзгерте аласыз. Grounding тек әр бет деңгейінде, meta тегі немесе X-Robots-Tag тақырыбы арқылы бапталады. Microsoft былай дейді: «robots.txt арқылы бүкіл сайтқа арналған grounding баптауы жоқ». Екі баптау да әдепкіде Allow (рұқсат). Аралық нұсқа да бар — ai-grounding:disallowextended. Ол беттеріңізді Microsoft-тың өз өнімдері, мысалы, Copilot пен Microsoft 365 үшін қолжетімді қалдырады, бірақ Microsoft үшінші тараптарға сататын grounding қызметтерінен шығарады.
Бұл баптаулар Bingbot-тың сайтты аралай алатын-алмайтынын емес, Microsoft мазмұныңызды қалай пайдаланатынын басқарады. Allow баптауы Bingbot-ты жабатын robots.txt ережесін жоймайды. Сондай-ақ Microsoft жаңа баптауды көруі үшін бетті қайта аралауы керек.
Жалпы ереже бас тарту болып саналмайды
Жоба бойынша User-Agent: * тобын оқыту туралы таңдау ретінде түсінуге болмайды. Егер жалпы ережелеріңіз «оқытуға болмайды» деп тұр деп ойласаңыз, жаңа жүйеде олар ештеңе айтпайды.
Сайтта AI оқытуды бұғаттау керек пе? Шешім ережесі
Өзіңізге бір сұрақ қойыңыз: мазмұнның өзі сіз сататын өнім бе? Егер жоқ болса, қызмет беттеріңізде оқыту сізге аз шығын әкеледі. Егер иә болса, оны қорғаңыз.
| Бизнес | AI оқыту | AI жауаптары |
|---|---|---|
| Жергілікті қызмет, клиника, заң фирмасы, агенттік | Өзіңіз шешесіз; мен рұқсат етуге бейіммін | Ашық қалдырыңыз |
| Интернет-дүкен, SaaS, B2B лидтер | Өзіңіз шешесіз; мен рұқсат етуге бейіммін | Ашық қалдырыңыз |
| Ақылы немесе лицензияланатын мұрағаты бар баспа | Жабыңыз немесе лицензиялаңыз | Ашық беттерде ашық; Bing-те DisallowExtended-ті қарастырыңыз |
| Мазмұн — өнімнің өзі: курстар, деректер, рецепттер, фотобанктер | Жабыңыз | Әр бет бойынша шешіңіз: сату беттері ашық, өнім жабық |
Шартты мысал: Алматыдағы стоматология клиникасы. Оның бағалары, жұмыс уақыты және емдеу түрлері ешкім қайта сата алатын өнім емес. Оқытуды жабу құнды ештеңені қорғамайды. Ал жауаптарды жабу пациент жақын маңдағы клиниканы сұрағанда ChatGPT бұл деректерді тексере алмайды деген сөз.
«AI трафигімді ұрлайды»: ең күшті қарсылықтар
Лицензияланатын мазмұны бар баспалар
Бұл орынды алаңдаушылық. Мұрағатыңыз ақша тұрса, оқытудан бас тарту — ақылға қонымды таңдау. Бірақ Bing өз баптаулары «лицензиялық немесе төлем келісімдерін орнатпайтынын» айтады. Жоба сондай-ақ лицензиялық мәмілелер сияқты жеке келісімдерге ортақ сигналдан басым болуға мүмкіндік береді. Демек токен мүмкіндіктеріңізді сақтайды, бірақ сіз үшін келіссөз жүргізбейді. Ал бұл мүмкіндіктерді сақтау үшін ашық беттеріңізді жауаптардан алып тастаудың қажеті жоқ.
AI түйіндемелері басуларды азайтады
Иә, азайтады. Pew Research Center 900 америкалық ересектің 2025 жылғы наурыздағы браузер деректерін зерттеді. Google-дың AI түйіндемесін көрген пайдаланушылар дәстүрлі нәтижені кірулердің 8%-ында басқан, түйіндеме болмағанда — 15%. Түйіндеменің ішіндегі сілтемені кірулердің шамамен 1%-ында басқан. Бұл — нақты шығын. Бірақ жауаптарды жабу ескі іздеу бетін қайтармайды. Ол сізді тек сол беттің үстіндегі түйіндемеден алып тастайды.
Бұғаттау басуларды қайтармайды
Мен көрген жалғыз дәлел керісінше көрсетеді, әрі ол әлсіз. Екінші қолдан алынған хабарламада SEO маманы Сайрус Шепард тексерген бір сайт сипатталады. Сайт AI Overviews пен AI Mode-тан тыс болған кезде оның кәдімгі органикалық басулары азайған, ал қайта оралғанда қалпына келген. Бұл бір ғана сайт, сондықтан өз алдына ештеңені дәлелдемейді. Дегенмен керісінше айтатын сенімді дәлелді мен көрген жоқпын.
Ашық қолжетімділік кепілдік емес, сондықтан өлшеңіз
Microsoft мұны тура айтады: «Екі таңдаудың ешқайсысы енгізуге, трафикке немесе төлемге кепілдік бермейді». Grounding-ті жапсаңыз, Microsoft AI тәжірибелерінде брендіңіздің көрінуі азаятынын ескертеді. Рұқсат етсеңіз, беттеріңіз тек жауапқа кіруге лайық болады. Ассистент сізді атай ма, жоқ па — бұл беттердегі анық, бірегей деректерге және басқа дереккөздер сіз туралы не айтатынына байланысты.
Сондықтан AI-дағы көрінуді уәде етпей, өзгеріске дейін және кейін өлшеу керек деп ойлаймын. Тәсілді Share of Model және AI-дағы көрінуді өлшеу туралы зерттеуімізде түсіндірдік. Sereda.ai кейсінде ChatGPT алғашында бұл HR платформасын білмейтінін айтқан. Sereda.ai 2025 жылғы 22 қазанда AI Page жариялады. Екі зерттеуші 4 сұраққа берілген жауаптарды 5 критерий бойынша, 100 балдық шкалада бір-біріне тәуелсіз бағалады. Балл ChatGPT-де 24-тен 87-ге, Gemini-де 28-ден 91-ге өсті. «Дейін» — 2025 жылғы қыркүйек пен қазанның басы, «кейін» — 2025 жылғы желтоқсанның басы. Бұл — бір кейс, әдеттегі нәтиже емес.
Техникалық жағын тексеру үшін сервер логтарын қараңыз. Жауап боттары 403 қателерін, қайта бағыттау циклдерін немесе firewall тексерулерін емес, 200 жауабын алуы керек. User-agent жолын жасандылауға болады, сондықтан маңызды боттарды IP немесе кері DNS арқылы тексеріңіз. Шикі логтарды оқығыңыз келмесе, Chetver Pulse қай AI боттары келетінін, нені оқитынын және қай жерде қатеге тап болатынын көрсетеді.

Сіздің орныңызда мен не істер едім
- Сайтыңыз іс жүзінде не беретінін тексеріңіз. Жұмыс істеп тұрған robots.txt файлын ашып, негізгі беттердегі meta robots тегтері мен X-Robots-Tag тақырыптарын қараңыз. CDN және firewall баптаулары файлды сізге білдірмей өзгертуі мүмкін. HasData Cloudflare-дағы бір өзгеріс 118 сайттың robots.txt файлынан AI-дан бас тарту ережелерін алып тастағанын хабарлады.
- Әр ережені «оқыту» немесе «жауаптар» деп белгілеңіз. OAI-SearchBot, ChatGPT-User, Claude-User, PerplexityBot, Bingbot немесе Googlebot-ты жабатын ереже тек сіз оны әдейі таңдаған болсаңыз ғана тұруы керек.
- Оқытудан бас тартқыңыз келсе, бөлек
__usage_ai-trainingтобын қосыңыз. GPTBot, ClaudeBot және Google-Extended ережелерін әзірге сақтаңыз. Gemini қосымшаларының жауаптарынан айырылуға дайынсыз ба, соны саналы түрде шешіңіз. - Bing-тің NoArchive немесе NoCache баптауын қолдансаңыз, көшуді 2027 жылғы 1 наурызға дейін жоспарлаңыз. Оқытуды robots.txt-тегі жаңа топқа, ал grounding-ті бет деңгейіндегі тегтерге көшіріңіз.
- Әр өзгерістен кейін логтарды қайта тексеріңіз. Жауап боттары бұрынғыдай 200 жауабын алуы керек.
1-қадамнан бүгін бастаңыз. Ол көп уақыт алмайды және сайтыңыз сізсіз қандай шешімдер қабылдап қойғанын көрсетеді.
Жиі қойылатын сұрақтар
GPTBot-ты жапсам, сайтым ChatGPT іздеуінен шығып қала ма?
Жоқ. GPTBot мазмұныңыз оқытуға пайдаланыла ма, соны басқарады. OAI-SearchBot сайтыңыз ChatGPT іздеу нәтижелерінде шыға ала ма, соны басқарады, әрі екеуін бір-біріне тәуелсіз баптайсыз. ChatGPT-User пайдаланушы ChatGPT-ден ашуды сұраған беттерді алады.
__usage_ai-training деген не және ол қазір жұмыс істей ме?
Бұл AI оқыту туралы таңдауды білдіруге арналған ортақ robots.txt тобы, ол IETF Internet-Draft құжатында сипатталған. Ірі компанияларда ол әзірге жұмыс істемейді. Microsoft оны 2027 жылғы 1 ақпаннан қолдана бастайды, Google 2027 жылы қолдауды жоспарлап отыр, OpenAI «алдағы айларда» дейді. Оған дейін GPTBot және Google-Extended сияқты әр ботқа арналған қазіргі ережелеріңіз жұмыс істейді.
AI оқытудан бас тартсам, Gemini-ден шығып қаламын ба?
Мүмкін. Google ортақ токен арқылы бас тартуды Google-Extended тыйымы ретінде қабылдайды. Хабарламаларға қарағанда, Google-Extended Gemini қосымшаларындағы grounding-ті де қамтиды. Google Search, AI Overviews және AI Mode-ты Googlebot басқарады, сондықтан бас тарту оларға әсер етпейді.
User-Agent: * Disallow ережесі AI оқытудан бас тарту болып есептеле ме?
Жаңа жоба бойынша жоқ. Жалпы (wildcard) топты оқыту туралы таңдау ретінде түсінуге болмайды. __usage_ai-training тобы жоқ robots.txt файлы ешқандай ортақ таңдауды білдірмейді. Оқытудан бас тартқыңыз келсе, арнайы топ қажет.
Мен Bing-те NoArchive немесе NoCache қолданамын. Не істеуім керек?
Көшуді 2027 жылғы 1 наурызға дейін жоспарлаңыз. Осы күннен кейін Bing оқыту мен grounding үшін NoArchive мен NoCache-ты оқымайды. Оқытуды robots.txt-тегі __usage_ai-training тобы арқылы, ал grounding-ті бет деңгейіндегі meta тегтері немесе X-Robots-Tag тақырыбы арқылы баптаңыз.
AI боттарына сайтымды оқуға рұқсат берсем, AI ассистенттері мені атай ма?
Міндетті түрде емес. Microsoft екі таңдаудың ешқайсысы енгізуге, трафикке немесе төлемге кепілдік бермейтінін айтады. Ашық қолжетімділік беттеріңізді жауапқа кіруге лайық етеді. Ассистенттің сізді атауы беттеріңіздегі анық, бірегей деректерге және басқа дереккөздер сіз туралы не айтатынына байланысты.