Доступность для ботов
Проверяет, доступен ли сайт поисковым и AI-ботам: разбирает robots.txt и делает реальные HTTP-запросы с User-Agent ботов (Googlebot, YandexBot, GPTBot, ClaudeBot и др.), выявляя блокировки на уровне WAF и CDN.
Как пользоваться
- Введите домен сайта.
- При необходимости укажите конкретный URL или путь для проверки.
- Нажмите «Проверить доступность».
- Посмотрите статус robots.txt, карты сайта и результат по каждому боту.
- Фильтруйте ботов по категориям: поисковые, AI, соцсети, другие.
Частые вопросы
Чем отличается блокировка в robots.txt от HTTP-блокировки?
robots.txt — рекомендательный запрет, которому следуют только добросовестные боты. HTTP-блокировка (403, 401 от сервера или WAF) — реальный запрет на уровне сервера, он надёжнее.
Каких ботов проверяет инструмент по-настоящему?
Для ключевых ботов — Googlebot, GPTBot и других — выполняются реальные HTTP-запросы с их User-Agent. Это показывает фактическую доступность, а не только правила robots.txt.
Почему сайт блокирует ботов на уровне HTTP?
Обычно это настройки WAF или CDN (Cloudflare, DDoS-Guard), серверные правила или anti-bot защита. Иногда такие фильтры случайно блокируют и полезных поисковых ботов.
Что значит, если robots.txt не найден?
Без robots.txt все боты по умолчанию имеют доступ ко всем страницам сайта. Чтобы ограничить разделы или закрыть AI-ботов, нужно создать robots.txt в корне сайта.