ChetverBot
бот, который проверяет сайты
ChetverBot — бот Chetver для проверки сайтов. Он читает публичные страницы и файлы, проверяет их доступность, содержимое и структуру и показывает результаты в Chetver.
- User-Agent
ChetverBot/1.0 (+https://chetver.com/bot)- robots.txt
User-agent: ChetverBot
Визит ChetverBot — это проверка Chetver. Он не означает, что ChatGPT, Claude, Gemini или Perplexity посетили или рекомендовали ваш сайт.
Как распознать ChetverBot
по подписи в запросе
ChetverBot отправляет такой User-Agent:
ChetverBot/1.0 (+https://chetver.com/bot)В robots.txt он следует правилам группы User-agent: ChetverBot. Если такой группы нет, действуют правила User-agent: *.
ChetverBot работает в Google Cloud. Постоянный список IP-адресов мы не публикуем. User-Agent указывает имя бота, но его может скопировать кто угодно; это не подтверждение личности отправителя.
Что он читает и как часто
только публичные страницы и файлы
У каждой проверки свой повод и свой объём. Вот когда ChetverBot приходит на сайт.
Готовность сайта
До 30 страниц подключённого сайта после оплаты, еженедельно и по запросу владельца на повторную проверку.
Ежедневная проверка доступности
Главная страница и robots.txt, sitemap.xml и llms.txt активных сайтов, для которых доступна проверка.
AI Page
До 30 страниц при создании или обновлении владельцем, а также автоматически каждые 7 или 30 дней в зависимости от тарифа.
Важные страницы
Страницы, выбранные владельцем, когда он запускает их проверку.
Бесплатная проверка
Главная страница, robots.txt и sitemap.xml, когда кто-то заказывает проверку на chetver.com.
ChetverBot читает публичные ответы без выполнения JavaScript, заполнения форм, входа в учётную запись или оформления заказов. Он ничего не меняет на вашем сайте.
Как он учитывает robots.txt
и что будет, если файл недоступен
Перед чтением страницы ChetverBot проверяет robots.txt и пропускает запрещённые пути. Непроверенные пункты готовности остаются неизвестными, а не получают ноль баллов.
Правила кешируются на срок до 60 минут. После изменения подождите это время. Сам robots.txt ChetverBot может читать, даже если другие пути запрещены.
Проверка готовности сайта останавливается, если robots.txt недоступен. Другие проверки могут продолжиться без правил robots.txt, если файл не удалось загрузить; Chetver записывает этот сбой.
Chetver также проверяет доступность AI Page, которую размещает на поддомене aipage клиента. Эта проверка не читает robots.txt перед обращением к странице.
Разрешить или запретить
решаете вы
Разрешить ChetverBot
Добавьте эту группу в robots.txt:
User-agent: ChetverBot
Allow: /Запретить ChetverBot
Запретить весь сайт:
User-agent: ChetverBot
Disallow: /Или запретить отдельные разделы:
User-agent: ChetverBot
Disallow: /checkout/
Disallow: /account/Chetver не может проверить запрещённые страницы и отмечает эти проверки как недоступные.
Файрвол, Cloudflare и ограничение частоты запросов
Если файрвол хостинга или защитный плагин блокирует ChetverBot, просмотрите заблокированный запрос и разрешите доступ только к публичным страницам, которые хотите проверить.
В Cloudflare собственное правило Skip может сделать исключение для Super Bot Fight Mode. Ограничьте его публичными GET-запросами с User-Agent ChetverBot и пропускайте только Super Bot Fight Mode. Оставьте управляемые правила, ограничения частоты запросов и другие защитные правила включёнными.
Если проверку блокирует ограничение частоты запросов, пересмотрите порог или сузьте правило до нужных публичных путей. Страницы входа, оплаты, учётной записи и форм должны оставаться защищёнными для каждого User-Agent.
Собственное правило Cloudflare не может пропустить Bot Fight Mode. Если эта функция блокирует ChetverBot, оцените возможность её отключения или перехода на защиту от ботов, которая поддерживает ограниченные исключения.
Cloudflare: исключения для Super Bot Fight Mode · Bot Fight Mode
Есть вопросы о ChetverBot?
напишите нам
Отправьте адрес сайта и описание проблемы на support@chetver.com