Как у меня упал Яндекс трафик после 7 августа 2023

Добрый день! Уважаемые читатели и гости IT блога Pyatilistnik.org. Сегодня я хочу вам рассказать интереснейшую историю, которая приключилась с тысячами сайтов рунета и вебмастеров 7 августа 2023 года. Был прекрасный августовский понедельник в Москве было солнечно, короче жизнь прекрасна. В середине дня в обед я захожу почитать новости и форумы, зашел конечно не серч, посмотреть что пишут вебмастера. К моему удивлению там появилась новая тема "Яндекс колбасит". Я стал ее изучать, там народ высказывал свои догадки почему у них сегодня просел трафик с поисковой системы Яндекс, а вот что из этого получилось я вам постараюсь рассказать ниже. Опять же эта статья и для структурирования данных которые мне потом пригодятся.

Утро 7 августа или день великого падения трафика с Яндекса

Как я и писал выше на серче я стал читать ветку "Яндекс кобласит" с 25 страницы, ссылка на нее ниже:

Немного цитат: Вчера с обеда не хило так тряхнуло по трафику(-25%), конкурента вообще сдуло с первой страницы или Аналогично. За вчера траф просел примерно на 20-23%

Первым делом я так же полез смотреть статистику и действительно трафика было меньше, но самое интересное, что в таблице посещаемости по категориям li.ru я был на привычных местах, что означало, под раздачу попали почти все. Как видно из графика ниже, с Google трафик увеличился слегка, а вот с Яндекса просто рухнул.

Из истории я знаю, что у Яндекса бывало происходил сбой алгоритма, назывался он МПК (Мало полезный контент). МПК (Мало полезный контент) - это термин, используемый в интернет-среде для описания контента, который не приносит значительной пользы или информации. Это может быть любой вид контента, который не является полезным или интересным для большинства пользователей. МПК может включать в себя некачественные статьи, фотографии, видео, мемы, шутки и другой контент, который не несет ценности или информации. Часто МПК создается с целью привлечения внимания или генерации трафика, но не предлагает ничего полезного или интересного для пользователей.

Далее ближе к 13 августа в ветке обсуждения стали писать, что кому-то прилетело уведомление в кабинет вебмастера МПК, люди нажали исправлено, но это не вернуло трафик. Кому-то как думается и мне его впаяли в скрытом виде, без отображения и возможности снять, я ниже объясню почему я так думаю, а уж вы сами делайте вывод малополезные у меня статьи или нет.

На серче 13 августа появилась еще одна ветка обсуждения "Нарушения и угрозы безопасности на сайте , Малополезный контент, спам, избыток рекламы", так как раз и перетирали МПК и кто, что смог узнать или подумать.

Я решил посмотреть уже с большим количеством данных на сколько все плохо, трафик в итоге просел из ПС Яндекса на 20-25% к этому времени, конечно хоть и не смешно, но я все же оптимист, данный сайт это моя записная книжка и он в любом случае останется со мной.

Пишем письмо Платонам

В любой непонятной ситуации бей первым, что Яндекс и сделал с нами, так что пишем письмо в техническую поддержку Яндекса. Вот адрес, где можно заводить тикеты:

Вы можете выбрать "Ранжирование" или "Безопасность и нарушения"

Выбираем "Снизилась посещаемость сайта - Рекомендации не помогли". После чего заполняем форму, постарайтесь без эмоций все объяснить, хоть я и понимаю, что это сложно, не ну реально.

Через некоторое время вам придет отбивка с вашим номером тикета, и вот там будет самое интересное, вам будут объяснять что вы дурак и все верно, сразу это примите будет легче.

Сто процентов вы получите шаблонный ответ от робота.

Тут у вас два варианта:

• Пытаться дальше додалбывать робота или оператора, но без каких либо аргументов
• Либо же попробовать за что-то зацепиться и попытаться, что-то понять

Я решил выбрать второй вариант.

Поиск за что можно зацепиться

Я каждый день изучал, что писали другие веб мастера, и параллельно искал причину в своем сайте.

Первым делом я стал немного изучать логи на сайте и смотреть технические моменты, что могло бы улучшить мое положение даже без учета трафика из Яндекса, Google то на месте, да и с закладок люди ходят. Полез в вебмастер. Перейдите в раздел "Статистика обхода"

Посмотрите наличие ошибок да и как в целом боты Яндекса к вам ходят. Начав разбираться я увидел сотни 404 ошибок с непонятными мне адресами:

За предыдущие дни их были сотни, что самое интересное таких ссылок на сайте конечно же нет, в индексе гугла слаба могу этого мусора не было, н ов целом 404 ошибки это не хорошо в большом количестве, боты тут могут делать неправильные выводы.

Я решил по быстрому спросить в чатике поддержки, что за дела, в итоге получил, что ты сам дурак у тебя там где-то, что-то есть сам ищи и вообще не парься, все само пройдет.

В итоге я в файле robots.txt просто заблокировал такие страницы:

Изучаю дальше логи. При проверке журнала доступа к веб-серверу Apache HTTPD или Nginx в журнале доступа или журнале ошибок появляется множество 404 Page Not Found, вызванных URL-адресами, которые были добавлены или добавлены с /undefined в конце. Например:

Однако ошибка 404 Page Not Found может быть не видна во внешнем интерфейсе, поскольку перенаправление на URL-адрес, добавленный с /undefined в конце, может фактически не происходить. Это означает, что посетитель веб-страницы по-прежнему может просматривать веб-страницу должным образом, но при загрузке веб-страницы вызов URL-адреса с добавлением /undefined вызвал 404 Страница не найдена на веб-сервере. Однако в некоторых случаях перенаправление все же происходит, и посетителям будет показана страница 404.

Что вызовет увеличение отказов по вашему сайту. В день у меня было по 50-70 таких ссылок. Я решил, что лучше на всякий случай все ссылки в конце которых будет /undefined, перенаправлять на основную страницу 301 редиректом. Для этого в файл .htaccess запишите вот такой код.

После этого 404 ошибки с /undefined исчезли, если немного копнуть откуда это, то можно выделить. Если URL-адрес с добавленным суффиксом "undefined" встречается исключительно в веб-браузере Google Chrome, это может быть вызвано плохо написанными расширениями или плагинами. Основным виновником является Complitly, вредоносное ПО, которое может перенаправлять ваш трафик на вредоносные сайты. Complitly внедряет улучшенную функцию автозаполнения, которая вызывает "undefined" запросы на каждой веб-странице, имеющей текстовое поле ввода с ИМЯ или идентификатором "search", «q» и т. д.

Проверьте есть ли главная страница в индексе

Откройте режим инкогнито в браузере и введите в Яндексе команду с оператором site:

Можно в этом так же удостовериться через вебмастер, раздел "Статистика страниц в поиске". Как видите существенная просадка, все  красное.

Изучение просевших страниц

Пока мой трафик с Яндекса пробивает каждый день новое дно я стараюсь разобраться что случилось то. Открыл метрику и стал изучать страницы, которые ранее были популярными, а сейчас стали вяленькими. Выбрал несколько запросов, пример "Перезапуск службы печати". В итоге, что я вижу, моего сайта нет в топ 100, но зато ворованный контент и картинки с моего сайта у говносайта на 6 месте, ок как круто подумал я, Яндекс то молодец.

Посмотрев на это дело я сделал два вывода:

• Конечно же Яндекс прав и мой сайт действительно говносайт по сравнению с крутым новым дорвеем
• Второй вывод, что новый алгоритм Яндекса и фильтр, явно с большим акцентом учитывают ссылки и портянки, привет 2009 год Молодцы, что сказать.

Пишу Платонам письмо, как же это так получилось, что я далеко за ТОП 100, а вот такое чудо трехмесячное вот тут. Приведу мой запрос [Ticket#23081610515252030]:

А вот и ответ Яндекса:

В итоге Яндекс сказал, к нам претензий нет, разбирайтесь сами, а мы пока с этим сайтом покрутим там рекламу и заработает и нас не смущает, что там полностью ворованный контент, ну и что Вот это пользователь-ориентированность и партнеро-ориентированность, гордость берет за вторую IT компанию в России, кто не знал, первая давно уже СБЕР. Я написал уточняющие вопросы жду.

Нашел второй запрос про сигналы BIOS. Ситуация такая же, я месте на 20-30, а сайт с ворованным у меня контентом на 3-6 месте. Так же пишу Платонам, новый тикет и попадаю вот на такого фрукта, который горой стоит за свой алгоритм ИИ и доказывает мне, что в Яндексе никогда не ошибаются, где вся автоматика априори работает идеально, и не требует ручного вмешательство как у Google, да еще и с откатами. Ваш сайт говно и на заслуженных местах.

Я пишу те же доводы, что и выше, что такого не должно быть, чтобы у сайта украли контент, его понизили, а воришку на дорвее подняли в ТОП. На что мне это чудо и отвечает.

Переписка продолжается.

В поиске вылезло много иностранных сайтов

По моей тематике очень много вылезло англоязычных сайтов при том, что я по русски вводил запрос. По некоторым запросам доля англоязычных сайтов достигала 80-90%, моего сайта не было даже в ТОП100.

Метки ?ysclid

Когда изучал запросы, то увидел, что ссылка из выдачи на мой сайт идет не по каноническому адресу, а по адресу с добавлением метки ?ysclid. Я стал изучать, что это за зверь, подумал сначала, что WordPress нагенерировал что-то и каноникал перестал работать, но изучив вопрос написал тикет Платонам. Вот ответ:

Как я понял, это Яндекс как раз и обучает на кошках свой новый апдейт у ИИ. Я написал тикет, чтобы меня исключили из этой ереси, сказали выкинут в течении 24 часов.

Отключите верхний регистер у адресов

Я заметил в кабинете вебмастера дубли страниц, те же адреса, но либо там все буквы заглавные, либо частично, для поисковой системы это дубль, непонятно, почему она не видит каноникал страницы. Лучше в таком случае сделать редирект.

Наблюдения какие сайты попали под фильтр Яндекса 7 августа 2023

• Со слов вебмастеров, с кем я общался на форумах это СДЛ, с посещаемостью от 7000 до 30 000 посетителей в день
• Сайты разной тематики
• Рекламные блоки у все разные, у кого есть и Adsense+РСЯ, по количеству так же по разному от 2 до 10 обьявлений
• Стали сильнее учитываться ссылки
• Сильно подросли дорвеи с автогенеренкой и портянкой
• CMS у всех разная
• Выборочно прилетает предупреждение МПК, не у всех
• У некоторых просел трафик с Яндекс Браузера, у себя я такой корреляции не увидел

Промежуточные выводы

• Явно было какое-то обновление алгоритма и в данный момент не ясно был сбой с фильтром МПК или же это сделали специально, чтобы обучить свою ИИ, на поведенческих с говносайтов, которые повылазили вверх
• Пессимизируют полностью домен и главную страницу, за счет этого проседают все страницы и запросы, новые с трудом заходят в индекс на местах далеко за ТОП 50.
• Фильтр не всегда отображается в вебмастере
•  Увеличилось влияние ссылок и размера текста

Подведение итогов

Закончили мы общение с Платонами вот на такой точке:

В итоге я делаю вывод, что ограничение было и ошибочное.

Что по трафику

Трафик полностью, а то и более вернулся в норму. Вот график возвращения трафика из ПС Яндекса в метрике.

Вот график возвращения трафика из ПС Яндекса на li.ru

Резкое падение трафика 7 октября и переходы из iframe-yang.yandex

7 октября 2023 к просевшему на 50% трафику из Яндекс поиска добавилось еще 25% проседание, перед этим были странные заходы из iframe-yang.yandex, видимо это очередная разновидность iframe-toloka.com.

так же можно посмотреть и в источниках трафика.

Вот так это выглядит по количеству выкинутых запросов, что я отслеживаю, укаталось просто в ноль.

Вот месячный график трафика по поисковым система, Яндекс уже скатился до 20% и видимо еще скоро нащупает дно в 0%, зато прекрасно ощущают себя сайты спасмеров и дорвейщиков, даже в очередной раз закрадывается мысль, что это одни и те же люди.

Так что в итоге было с Яндексом

Мы попали скорее всего под сбойное обучение алгоритма, где рассматривалась оригинальность текстов, как ответили представители Яндекса. Почему вылезли наверх сайты, которые своровали текст неясно, может быть их ИИ обучается их определять по портянкам или другим признакам, может ли это повториться, да легко, но это не должно вас останавливать развивать сайт, мы же работаем для души и людей.

P.S. и да Платоны те кто в тех поддержке ,к вам у меня нет претензий, я понимаю, что вы лишь первая линия обороны, берущая на себя весь негатив, в целом благодаря этой ситуации я смог найти ряд технических проблем и устранить их, во всем плохом можно найти и что-то хорошее.