Проверка карты сайта

Подробно

Как проходит проверка карты сайта

Файл sitemap.xml подсказывает поисковым системам, какие URL стоит просканировать и как часто они меняются. Яндекс, Google и Bing используют его как рекомендацию, а не приказ: ошибки в файле не обрушат индексирование, но роботы будут тратить время на мусор, а важные страницы найдут позже. Для больших проектов и свежих разделов это особенно заметно.

Формат и правила протокола

• корневой тег urlset, в нём для каждой страницы - тег url и обязательный loc;
• необязательные lastmod (дата изменения), changefreq и priority (приоритет); Google использует только lastmod, и то если дата точная;
• URL абсолютный, с протоколом: https://example.com/catalog/, а не /catalog/;
• кодировка UTF-8, спецсимволы экранированы;
• лимиты: до 50 000 URL и до 50 МБ без сжатия на файл; больше - файл индекса sitemapindex со ссылками на дочерние XML-карты;
• для изображений и видео есть отдельные расширения протокола.

Какие ошибки находит валидатор

Валидатор XML проверяет синтаксис и наличие обязательных тегов: незакрытые теги, неверное пространство имён, недопустимые символы, пустые значения. Такой файл поисковик может прочитать не целиком. Но корректность формата - только половина дела: синтаксически верный sitemap бывает полон лишних записей.

Что проверить в содержимом

• коды ответа: каждая запись должна отдавать HTTP-статус 200, без 404, 410 и переадресаций;
• индексируемость: в файле нет страниц с noindex, закрытых в robots.txt или с canonical на другой URL;
• дубли: один и тот же контент по разным URL, с параметрами и без, со слешем и без;
• полнота: все рабочие страницы из меню и каталога есть в файле;
• актуальность: lastmod меняется только при реальных изменениях, а не каждый день у всех записей.

Как исправить и обновить

Проблемы правят в источнике: генератор CMS или плагин, который создаёт файл автоматически, чаще всего добавляет служебные разделы, фильтры и страницы пагинации. Надёжнее собрать файл заново по результатам сканирования: туда попадёт только то, что открывается и разрешено к индексу. Готовый sitemap.xml загружают в корень, указывают путь директивой Sitemap в robots.txt и отправляют в Яндекс Вебмастер и Google Search Console - там видно, какое количество URL робот прочитал и были ли проблемы.

Частые ошибки

• забыть обновить файл после переезда на HTTPS или смены структуры;
• оставить в нём тестовый поддомен или старую версию;
• ставить всем записям priority 1.0 и сегодняшний lastmod - такие значения роботы игнорируют;
• считать, что sitemap гарантирует индексацию: он только помогает роботу найти URL.

В SERP-X достаточно вписать домен: программа сканирует его, сверяет найденное с текущим файлом и показывает лишнее с причиной (редиректы, ошибки, noindex) и недостающее отдельной вкладкой. В настройках задают предел страниц и решают, брать ли URL с параметрами. Итог - вывод, менять ли файл и почему.