Доступ AI-ботов к сайту
Проверим, могут ли GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Googlebot, YandexBot и другие боты открыть ваши важные страницы: robots.txt, HTTP-ответы, редиректы и антибот-защита — с рекомендациями по исправлению.
Что проверяем
robots.txt
Разбираем файл по спецификации Google: группы User-agent, Allow и Disallow, шаблоны с * и $. Для каждого бота показываем сработавшее правило и номер строки.
HTTP и редиректы
Запрашиваем страницу с User-Agent каждого бота и сравниваем с браузером: коды ответа, цепочки редиректов, время ответа, noindex и canonical.
Защита сервера
Находим антибот-заглушки Beget, Cloudflare, DDoS-Guard, Qrator и другие, блокировки по User-Agent и урезанный контент для ботов.
Ограничение: блокировки по IP-адресам ботов (когда сервер пропускает только настоящие IP Google или OpenAI) этой проверкой не видны — запросы идут с нашего сервера, а не с IP ботов.
Частые вопросы
Нужно ли открывать сайт для GPTBot и ClaudeBot?
Эти боты собирают данные для обучения моделей. Их запрет — осознанный выбор и на цитирование в поиске не влияет. А вот OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Googlebot, YandexBot и Bingbot нужны, чтобы страница попадала в ответы.
Почему браузер открывает сайт, а боты — нет?
Чаще всего виновата антибот-защита хостинга или CDN: она показывает JavaScript-проверку, которую люди проходят незаметно, а боты — нет. Также встречаются правила firewall по User-Agent и плагины безопасности CMS.
Что такое Google-Extended и Applebot-Extended?
Это токены только для robots.txt: они управляют использованием контента в Gemini и Apple Intelligence. Сами страницы сканируют обычные Googlebot и Applebot, поэтому HTTP-проверка для них выполняется с их User-Agent.