tid:OIP страницы в индексе

Добрый день уважаемые читатели блога. Если у вас как и у меня есть сайт на популярном движке WordPress и вы более или менее в нем разбираетесь, то знаете, что данный движок не лишен недостатков, в плане создания различных мусорных страниц, и не все пользователи знают, что такое индексирование страниц и какие там могут быть подводные камни для вашего блога, так как не понимание этой темы очень сильно может потопить ваш проект, заставив вас его забросить от бессилия. Сегодня я хочу вам рассказать, о таких мусорных страницах tid:OIP, которые я обнаружил у себя в поисковом индексе Яндекса, они имели код error 404 pages, что как понимаете не очень хорошо для проекта, так как он означает, что искомая страница не найдена, и чем их больше у вас, тем хуже о вашем проекте думают поисковые системы, давайте это исправлять.

Что такое tid:OIP

И так помните, не так давно я вам рассказывал о мусорных, дублирующих страницах, которые порождал движок WordPress:

• wp json oembed страницы
• replytocom страницы

Я вам рассказывал, какой вред они могли бы принести моему блогу, если бы я их вовремя не заметил, самое безобидное это была бы просадка трафика, а самое худшее это фильтр, от которого не так уж и просто избавиться и диагностировать. Вот страницы tid:OIP из этой же области.

Выглядит эта страница подобным образом:

Ваш адрес сайта",tid:"OIP.ZKgtOEaLQZZARqwOUKhYdQEsDf

Код у ошибки 404 и если у вас не настроено, чтобы такую страницу не индексировать, то ее спокойно и со вкусом кушает Яндекс, кладя это в свой индекс. Как искать страницы с ошибкой 404 я уже рассказывал, советую посмотреть. Самый простой вариант, это конечно же webmaster.yandex.ru. Зайдите в раздел Индексирование > Статистика обхода и выберите отображать HTTP-коды 4XX. В моем случае их получилось 139 штук, что уже не очень хорошо, мне повезло, что у меня хороших страниц на сайте более 3000, и на их фоне цифра страниц tid:OIP пока смешная.

И так если подытожить, то tid:OIP это мусорные страницы с кодом 404, которые легко попадают в индекс поисковых систем, что с этим делать бороться. Генерирует их генератор дорвеев Autodor.Wmsn или его аналоги.

Как удалить tid:OIP

Как я написал выше, данные не существующие страницы делают специальные скрипты, генерирующие дорвеи. Что такое дорвей я писал и смысла в повторении этого материала нет, в любом случае ваш ресурс стал популярным, что делает вам статус успешного проекта, а с другой стороны накладывает негативный момент и вас парсят, создавая не нужную нагрузку на ваш хостинг и проект и создавая хлам в виде tid:OIP страниц.

Кстати я уже очень подробно освещал вопрос как закрыть доступ парсеру, так что посмотрите те советы, что я предложил вам

И так давайте я расскажу, как избавиться от tid:OIP хлама. Так как все Ip адреса не запретишь и вас все равно потихоньку будут парсить, то избавиться от данных страниц вам не получиться средствами WordPress, так как он будет генерировать при таком раскладе несуществующие адреса с кодом HTTP-404. Единственным выходом на текущий момент будет запрет индексирования tid:OIP в файле robots.txt, который является неким мануалом поведения поисковых роботов по отношению к вашему сайту. Как создавать правильный файл robots.txt я рассказывал, сегодня приведу пример уже готового файла, запрещающего tid:OIP.

Если у вас еще нет robots.txt, то советую его создать. Для его редактирования вам нужно зайти на ftp сервер хостинга и поправить ваш файл добавив вот такие строки:

Для User-agent: * вы пишите новую секцию Disallow: /*OIP*

Для User-agent: Yandex вы пишите секцию Disallow: /*OIP*

Еще у меня стоит полезный плагин, задачей которого является делать 301 редирект, но также он отслеживает все 404 страницы, что смог найти вот такие не существующие страницы ​/images​/article-contract.png, видимо кто-то пытается парсить папку /images​/, которой просто нет. Запретим ее, тоже в robots.txt

Благодаря таким вот действиям можно убрать из индекса кучу мусора ведущего на ваш сайт и избавиться от tid:"OIP. Прошло некоторое время и смотрите, что получилось, Яндекс выкинул из поискового индекса все страницы tid:OIP и 404 ошибок почти не стало.