Проверка robots.txt

Подробно

Проверка robots.txt: как роботы читают правила

Robots.txt - текстовый файл в корне сайта (https://example.com/robots.txt) с правилами обхода для поисковых роботов: какие разделы можно сканировать, а какие нет. Ошибка в одной строке способна убрать из поиска каталог или весь ресурс, поэтому проверка robots.txt нужна после каждой правки файла, переезда, смены CMS и запуска новых разделов.

Основные директивы

• User-agent - для какого робота секция: * - для всех, Yandex или Googlebot - для конкретного поисковика.
• Disallow - запретить обход пути: Disallow: /search/ не пустит робота в результаты внутреннего поиска.
• Allow - разрешить путь внутри запрещённого: Allow: /blog/ вместе с Disallow: / оставит доступным только блог.
• Sitemap - где лежит sitemap.xml: Sitemap: https://example.com/sitemap.xml.
• Clean-param - директива Яндекса: какие GET-параметры, например utm-метки или сортировка, не меняют содержимое.

Символ * заменяет любую последовательность знаков, $ фиксирует конец строки. Директивы Host и Crawl-delay устарели: главное зеркало теперь задают 301-редиректом, а скорость обхода - в настройках Вебмастера.

Как робот выбирает правило

Робот ищет секцию со своим именем и только при её отсутствии берёт общую - User-agent: *. Правила общей секции на робота со своей секцией не действуют: если в секции Googlebot нет запрета на /admin/, Google туда пойдёт, даже когда в общей секции запрет есть.

Внутри секции побеждает самое длинное подходящее правило, а при равной длине оба поисковика выбирают Allow. Поэтому в сложном файле полезно видеть для каждого URL ту строку, которая решила дело.

Частые ошибки в robots.txt

• Disallow: / остался после разработки - сайт целиком недоступен для обхода.
• Запрещены папки с CSS и JavaScript: Google не может отрисовать страницу и хуже понимает её контент.
• Страница есть в sitemap.xml, но запрещена в robots.txt - роботы получают противоречивые сигналы.
• Через Disallow пытаются убрать страницу из индекса. Но запрет касается обхода, а не индексирования: URL, на который ведут ссылки, может остаться в поиске без описания. Для удаления используйте noindex и не запрещайте такую страницу в файле, иначе робот не увидит метатег.
• Опечатки и регистр: /Catalog/ и /catalog/ для робота разные пути.
• Файл отдаёт 404, 5xx или редирект: тогда поисковик действует по своим правилам, вплоть до остановки обхода всего сайта.

Как проверить файл

Синтаксис проверяют валидаторы: анализ robots.txt в Яндекс Вебмастере и отчёт о файле в Google Search Console показывают ошибки в строках и позволяют проверить отдельный URL. Но надёжнее прогнать через правила полный перечень важных страниц - карточки, категории, статьи блога - и убедиться, что ни одна из них не попала под запрет. Новые правила разумно проверять на черновике, до выкладки, а не на работающем сайте.

В SERP-X проверка robots.txt идёт по сайту и перечню URL или путей; если поле пустое, берутся до 1 000 страниц из sitemap.xml. Вместо файла с сайта можно вставить свой черновик и проверить его на реальных страницах до публикации. Для каждого URL видно, открыт ли он для Yandex и Googlebot и какая строка файла это решила. В итоге - правила с числом заблокированных страниц, на вкладке «Файл» - robots.txt с номерами строк и замечаниями, Clean-param тоже учитывается. Результат выгружается в Excel, а инструмент работает онлайн и бесплатно, в личном кабинете. Дальше можно собрать новую sitemap.xml и проверить индексацию.