Сканер сайта: обход всех страниц
Сканер сайта показывает все технические ошибки одной таблицей, как их видит поисковый робот: битые ссылки, редиректы, дубли, пустые и длинные title, закрытые страницы - без предела страниц.
- 55 отчётов с проблемами
- Без предела страниц
- Excel - каждый отчёт листом
Как работает
Сканер сайта: от домена до списка ошибок - за минуты
Впишите сайт
Домен или адрес раздела. В настройках - предел страниц и кликов, потоки, кем представляться и как читать robots.txt.
Программа обходит сайт
Как поисковый робот: от главной по ссылкам и по карте сайта. Обход идёт в фоне - можно работать в других инструментах.
Смотрите результаты
Итог с главными проблемами, 55 отчётов с числами - щелчок открывает таблицу, у каждого адреса - своя карточка.
Выгрузите в Excel
Все адреса со всеми колонками, каждый непустой отчёт - своим листом. Список можно сразу передать программисту.
Что получите
Ошибки сайта - по важности и с адресами
Главное - сразу
Кольцо показывает, сколько адресов открывается, а вывод - что исправить в первую очередь. Проблемы - ссылками: щелчок открывает нужный отчёт.
- Коды ответа долями
- Страницы по кликам от главной
- Битые ссылки, дубли title, страницы без входящих ссылок
Все URL - в таблице
Код ответа, индексация с причиной, title, description, H1, canonical, глубина в кликах, вес и время ответа. Поиск по адресу, title, H1 и анкору.
- noindex, canonical и robots.txt - видно, почему страница не в индексе
- Строки дочитываются при прокрутке - даже на десятках тысяч адресов
- Границы колонок тянутся мышью
Карточка адреса
Откуда ведут ссылки на битую страницу, куда ведут исходящие, какие на ней картинки и через какие редиректы до неё доходит робот.
- Входящие и исходящие ссылки с анкорами
- Цепочка редиректов
- Есть ли адрес в карте сайта
Преимущества
Почему удобно обходить сайт в SERP-X
Без предела страниц
Обходите сайт целиком: тысячи и десятки тысяч адресов. Ограничение по числу страниц и глубине - только если нужно вам.
Как видит Яндекс
robots.txt с правилами для Яндекса, noindex и canonical - у каждого адреса индексация и причина, а не просто код ответа.
Страницы на JavaScript
Браузер на компьютере дорисует страницы, которые собираются скриптами, - робот увидит то же, что посетитель.
Свои правила
Шаблоны адресов, своё извлечение по CSS и регулярным выражениям, поиск по коду страницы.
Один обход - для всех проверок
Тот же обход берут «Аудит сайта» и «Структура сайта»: сайт не нужно обходить заново.
В фоне и с продолжением
Обходов может идти несколько сразу. Остановленный обход продолжается с того же места.
Подробно
Что проверяет сканер сайта
Сканер сайта, или краулер, проходит по сайту так же, как поисковый робот: открывает главную, переходит по внутренним ссылкам и собирает данные о каждом URL. За один проход видно, что мешает индексации и ранжированию, без ручной проверки сотен и тысяч страниц.
SEO-сканер и сканер безопасности
Под сканером сайта понимают два разных инструмента. Сканер безопасности ищет вредоносный код, заражённые файлы и уязвимости CMS, проверяет SSL-сертификат и наличие домена в чёрных списках. SEO-сканер ищет технические ошибки, которые мешают продвижению в Яндексе и Google. Антивирусная проверка не найдёт битые ссылки, а SEO-краулер не заменит защиту от взлома. Обход сайта в SERP-X - это SEO-сканер.
Когда запускать сканирование
- после редизайна, переезда на новую CMS или домен;
- перед стартом продвижения - чтобы оценить техническое состояние ресурса;
- регулярно на крупных сайтах: раз в месяц или после релизов;
- когда трафик упал без видимых причин.
С чего начать исправления
Сначала - то, что не пускает робота: сбои 5xx, битые ссылки в меню и каталоге, страницы, случайно исключённые из индекса. Затем - дубли и мета-теги, потом структура: глубина вложенности и перелинковка. Таблицу с найденным удобно сразу передать программисту.
Сканер сайта в SERP-X обходит сайт без предела страниц; ограничить обход числом страниц или глубиной в кликах можно в настройках, там же - потоки, кем представляться, шаблоны URL, своё извлечение по CSS или регулярным выражениям и поиск по коду. Страницы на JavaScript дорисовывает браузер, поэтому видно то же, что видит посетитель. Обход идёт в фоне, их может быть несколько, остановленный продолжается с того же места. Все URL со всеми колонками и каждая непустая выборка отдельным листом уходят в Excel, а инструмент работает онлайн и бесплатно, в личном кабинете. Дальше удобно настроить перелинковку.
Вопросы
Частые вопросы
Это аналог Screaming Frog?
По сути - да: те же данные об адресах сайта, но без предела страниц, на русском, с учётом правил Яндекса и с отчётами-подсказками. И всё в той же программе, где позиции, семантика и аудит.
Сколько страниц можно обойти?
Предела нет. Если нужно, ограничьте обход в настройках - числом страниц или глубиной в кликах от главной.
Можно работать, пока идёт обход?
Да. Обход идёт в фоне, их может быть несколько. Остановленный или прерванный закрытием программы обход продолжается кнопкой «Продолжить обход».
Что попадает в Excel?
Все адреса со всеми колонками и каждый непустой отчёт - отдельным листом: битые ссылки, дубли, редиректы, страницы без входящих ссылок и остальные.
Проверяет ли сканер сайт на вирусы?
Нет, это SEO-сканер: он ищет технические ошибки, которые мешают продвижению. Вредоносный код и уязвимости проверяют антивирусные сервисы и сканеры безопасности.
Чем сканер отличается от данных Вебмастера?
Вебмастер показывает, что уже увидел робот Яндекса, и с задержкой. Сканер обходит сайт сейчас и находит проблемы до того, как они скажутся на поиске.
Обход сайта - онлайн, бесплатно
Без установки и без карты - в личном кабинете SERP-X. Инструменты с выдачей и нейросетью - в программе для Windows.