ChetverBot
бот, що перевіряє сайти
ChetverBot — бот Chetver для перевірки сайтів. Він читає публічні сторінки й файли, перевіряє їхню доступність, вміст і структуру та показує результати в Chetver.
- User-Agent
ChetverBot/1.0 (+https://chetver.com/bot)- robots.txt
User-agent: ChetverBot
Візит ChetverBot — це перевірка Chetver. Він не означає, що ChatGPT, Claude, Gemini чи Perplexity відвідали або рекомендували ваш сайт.
Як розпізнати ChetverBot
за підписом у запиті
ChetverBot надсилає такий User-Agent:
ChetverBot/1.0 (+https://chetver.com/bot)У robots.txt він виконує правила групи User-agent: ChetverBot. Якщо такої групи немає, діють правила User-agent: *.
ChetverBot працює в Google Cloud. Постійного списку IP-адрес ми не публікуємо. User-Agent вказує назву бота, але його може скопіювати будь-хто; це не підтвердження особи відправника.
Що він читає і як часто
лише публічні сторінки й файли
Кожна перевірка має свій привід і свій обсяг. Ось коли ChetverBot приходить на сайт.
Готовність сайту
До 30 сторінок підключеного сайту після оплати, щотижня та за запитом власника на повторну перевірку.
Щоденна перевірка доступності
Головна сторінка та robots.txt, sitemap.xml і llms.txt активних сайтів, для яких доступна перевірка.
AI Page
До 30 сторінок під час створення або оновлення власником, а також автоматично кожні 7 або 30 днів залежно від тарифу.
Важливі сторінки
Сторінки, які вибрав власник, коли він запускає їхню перевірку.
Безплатна перевірка
Головна сторінка, robots.txt і sitemap.xml, коли хтось замовляє перевірку на chetver.com.
ChetverBot читає публічні відповіді без виконання JavaScript, заповнення форм, входу в обліковий запис чи оформлення замовлень. Він нічого не змінює на вашому сайті.
Як він враховує robots.txt
і що буде, якщо файл недоступний
Перед читанням сторінки ChetverBot перевіряє robots.txt і пропускає заборонені шляхи. Неперевірені пункти готовності лишаються невідомими, а не отримують нуль балів.
Правила кешуються на строк до 60 хвилин. Після зміни зачекайте цей час. Сам robots.txt ChetverBot може читати, навіть якщо інші шляхи заборонені.
Перевірка готовності сайту зупиняється, якщо robots.txt недоступний. Інші перевірки можуть продовжитися без правил robots.txt, якщо файл не вдалося завантажити; Chetver записує цей збій.
Chetver також перевіряє доступність AI Page, яку розміщує на піддомені aipage клієнта. Ця перевірка не читає robots.txt перед зверненням до сторінки.
Дозволити чи заборонити
вирішуєте ви
Дозволити ChetverBot
Додайте цю групу до robots.txt:
User-agent: ChetverBot
Allow: /Заборонити ChetverBot
Заборонити весь сайт:
User-agent: ChetverBot
Disallow: /Або заборонити окремі розділи:
User-agent: ChetverBot
Disallow: /checkout/
Disallow: /account/Chetver не може перевірити заборонені сторінки й позначає ці перевірки як недоступні.
Фаєрвол, Cloudflare і обмеження частоти запитів
Якщо фаєрвол хостингу або захисний плагін блокує ChetverBot, перегляньте заблокований запит і дозвольте доступ лише до публічних сторінок, які хочете перевірити.
У Cloudflare власне правило Skip може зробити виняток для Super Bot Fight Mode. Обмежте його публічними GET-запитами з User-Agent ChetverBot і пропускайте лише Super Bot Fight Mode. Залиште керовані правила, обмеження частоти запитів та інші захисні правила ввімкненими.
Якщо перевірку блокує обмеження частоти запитів, перегляньте поріг або звузьте правило до потрібних публічних шляхів. Сторінки входу, оплати, облікового запису та форм мають лишатися захищеними для кожного User-Agent.
Власне правило Cloudflare не може пропустити Bot Fight Mode. Якщо ця функція блокує ChetverBot, оцініть можливість її вимкнення або переходу на захист від ботів, що підтримує обмежені винятки.
Cloudflare: винятки для Super Bot Fight Mode · Bot Fight Mode
Є питання про ChetverBot?
напишіть нам
Надішліть адресу сайту й опис проблеми на support@chetver.com