Редиректы в Яндекс вебмастере

Добрый день! Уважаемые читатели и гости IT блога Pyatilistnik.org. В минувший раз мы с вами решили ошибку DCOM 10016, которая ломала нам приложение 1С. Двигаемся дальше и сегодня я хочу с вами разобрать вот такую ситуацию. Есть такой сервис "Яндекс Вебмастер", который помогает вебмастерам получать информацию, о состоянии их ресурсов. Так например я узнал, что у меня фильтр МПК. Одной из полезных функций, что есть в этом кабинете, это просмотр поведения бота по индексированию вашего ресурса, там показана интенсивность и всевозможные проблемы. Одним из показателей, на который стоит обращать внимание, это исключенные страницы, среди которых есть и редиректы. Ниже я опишу, чем это плохо для вас если их много, как их найти и убрать.

Что такое краулинговый бюджет

Краулинговый бюджет — это количество страниц, которое поисковая система готова проиндексировать на вашем веб-сайте за определенный период времени. Он позволяет поисковым системам эффективно сканировать и индексировать содержимое вашего сайта. Расчет краулингового бюджета зависит от нескольких факторов, включая:

1. Размер сайта: большие сайты с большим количеством страниц обычно имеют больший краулинговый бюджет.
2. Качество контента: поисковые системы предпочитают сканировать и индексировать сайты с высококачественным и уникальным контентом.
3. Скорость загрузки страниц: если ваш сайт медленно загружается, поисковые системы могут снизить ваш краулинговый бюджет. Поэтому обязательно обновляйте PHP и WordPress если ваш ресурс работает на нем.
4. Ссылки на ваш сайт: если ваш сайт имеет много внешних ссылок, это может увеличить ваш краулинговый бюджет.

Как увеличить краулинговый бюджет можно следующими способами:

• Улучшение качества контента: создание уникального и информативного контента поможет привлечь внимание поисковых систем и увеличит вероятность индексации большего количества страниц.
• Оптимизация скорости загрузки: оптимизация кода, сжатие изображений и использование кэширования помогут ускорить загрузку страниц и повысить вероятность индексации большего количества страниц.
• Построение качественных внешних ссылок: получение ссылок от других авторитетных и релевантных сайтов поможет увеличить краулинговый бюджет.
• Использование файла robots.txt: правильная настройка файла robots.txt позволит указать поисковым системам, какие страницы следует индексировать, а какие - нет.

Важно отметить, что краулинговый бюджет является динамическим и может изменяться в зависимости от различных факторов и алгоритмов поисковых систем.

Где посмотреть наличие редиректов в Яндекс вебмастере

В Яндекс вебмастере в разделе "Индексирование — Страницы в поиске" вы можете посмотреть список исключенных страниц, тут могут быть вот такие типы:

• Редиректы — именно они у вас съедают краулинговый бюджет, в идеале их не должно быть вообще, либо они должны быть минимизированы. Как видите в моем пример, это аж 645 переходов, которые я просто так трачу. Так же хочу отметить, что тут и пользователи на доли секунд дольше ожидают открытия страницы, о них нужно так же думать.
• Неканоническая
• Малоценная или маловостребованная страница
• Ошибка HTTP (404 ошибки)
• Не удалось скачать страницу
• Запрет в robots.txt
• Запрещено элементами noindex
• Неподдерживаемый формат

Откуда могут взяться редиректы

Да откуда угодно, например приведу свои два примера:

• Раньше, когда я только начинал вести свой блог, то я особо не заморачивался по названию статьи или ее длине, в итоге при ее публикации, адрес становился очень длинным, это для пользователя не особо заметно и критично, а вот для поисковых систем, есть ряд ограничений или скажем так рекомендаций, чтобы он был приемлемого размера. В таких случаях я делал редирект, но проблема в том, что до этого редиректа, я уже мог по старому имени линковать на этот старый адрес. В итоге получается приходит робот Яндекса, идет по ссылке, его перекидывает на старый адрес, со старого адреса идет перенаправление на новый. Получается за одно обращение он тратит две единицы краулингового бюджета.

Было /kak-povyisit-kachestvo-dostavki-pochtyi-instruktsiya-po-nastroyke-spf-i-dkim-na-primere-mdaemon-10-vse-pisma-na-mail-ru-popadayut-v-spam-chto-delat/

Стало /how-to-improve-the-quality-of-mail-delivery/

• Второй пример, однажды мне захотелось из адреса категорий убрать слово category, чтобы было не /category/active-directory/, а /active-directory/. Чисто из визуального предпочтения, но я так же забыл, что в каких-то статьях у ссылался на категорию по старому имени, в итоге поисковые боты, так же бегали по редиректу, тратя мой краулинговый бюджет.

Как выявить на сайте редиректы

Для этого существует куча сервисов и софта, я купил себе SiteAnalyzer. Он условно бесплатный до 500 страниц, но тут нужно учитывать, что каждая картинка имеет адрес, и будет там сканироваться, так что для крупных сайтов этого будет недостаточно. Скачиваем утилиту и устанавливаем, я тут останавливаться на этом не буду. Далее добавляем  проект для сканирования.

Далее нажмите CTRL+R для пере сканирования.

После того как у вас закончится сканирование, вам необходимо отфильтровать результаты. Чтобы найти редиректы, необходимо в коде ответа выставить значение 301, для полезности еще добавьте 404, чтобы видеть ошибки со сломанными ссылками.

На выходе у вас будут все редиректы из текста. Обращайте на ссылку источник, там ищите ссылку на редирект, по указанному анкору. Далее остается либо удалить ссылку, если она не нужно, либо выставить правильный адрес, чтобы не было редиректа. В итоге вы получаете профит, минимизируя свой краулинговый бюджет.

В итоге вы должны привести индекс здоровья вашего сайта в самое оптимальное состояние.

Если у вас их оказалось приличное количество, то придется потрудится. В любом случае наведя таким образом некую гигиену на сайте вы получите положительный ответ от поисковых систем. Главное не забывайте проверять Яндекс вебмастер, увидел ли он ваш труд. С вами был Иван Сёмин, автор и создатель IT портала Pyatilistnik.org.