Дубли wp json oembed в WordPress 4.4

Всем привет, сегодня хочу поделиться опытом, удаления новых дублей у движка WordPress 4.4, а именно wp json oembed страницы, вы я даже уверен не знаете, что они есть, и если у вас до этого в robots.txt не было нужного правила, то вы в Яндексе сильно нагадили, он весь этот мусор схавал и не поперхнулся. Ниже смотрим последствия и как их решить.

Последствия дублей страниц

Как всем известно поисковики, не очень любят дубли страниц, почему, да тут все просто:

• много одного и того же контента по разным адресам > как следствие сложно было понять, какая страница та самая, а какие это мусор. Усложняется поиск релевантного контента.
• тратятся дополнительные мощности роботов индексирующих сайты, увеличивается время индексирования, требуется больше самих серверов и их мощностей

Конечно поисковики думают о пользователе и заинтересованы, чтобы все было гладко. По этой причине они например создали тег canonical, который говорит поисковой машине какой из адресов является основным, а остальные дубли, тем самым упрощая процедуру индексирования, но если у вас все равно много дублей, и вы их не закрыли от индексации, поисковик их загрузит, потратив тем самым вашу квоту на индексацию, да представьте она есть, и для каждого сайта она своя, и если робот не успел, за отведенное ему время все обойти это ваши проблемы, и может получиться, что мусор он увидит, а до нужного и нормального не дойдет. Вывод, чистим все лишнее. К сожалению, многие CMS движки, грешат всякими дублями в силу своей специфики работы, но это не означает, что вы не должны это исправлять. Ранее я вам уже рассказывал про один тип дублей replytocom, и рассказал как от них избавиться, сегодняшний враг новый, я о нем случайно узнал и имя ему wp json oembed.

Неизвестные страницы wp json oembed 1.0 embed

И так одним зимним и морозным вечером, зайдя в веб мастер Яшки, я прифигел, что у меня в заблокированных файлах содержимого моего сайта, красовалась цифра в 9000, хотя до этого было всего пару сотен, естественно мне стало интересно, что это такое, что за херь.

Естественно мне стало очень интересно, что же там появилось, я до этого редактировал конечно robots.txt и чистил другие, дубли, о них я расскажу потом, но чтобы их было 9000, это не реально.

Щелкаем по Документ защищен в файле robots.txt

У вас отобразиться график, где вы сможете точно увидеть, когда был скачок и со сколки он стартовал.

Ниже вы увидите, список заблокированных странниц, начиная их изучать, я наткнулся на тьму ссылок wp json oembed

При попытке перейти по любой из них, меня перекидывало на xml страницу определенного поста, вопрос какого это вообще тут делает. Переходим в Структуру сайта и видим, что у нас есть какая то виртуальная папка wp-json > oembed > 1.0 > embed? в размере 4000, хорошо, что у меня на всякий такой случай в роботсе есть правило, не дающее это индексировать и оно в Яндекс не попало в индекс, но он его честно загрузил, потратив время, которое мог потратить на что то более полезное, на моем ресурсе. Давайте разбираться, что это за призрак wp json oembed 1.0

Что такое wp json oembed 1.0

wp json это привет от новый версии WordPress 4.4. Именно с нее начинается эта эпопея, разработчики ввели там новый API REST,который наплодил у всех кучу мусорных страниц в виртуальной директории wp-json.

Это виртуальная директория для API REST у WordPress версии 4.4 и выше. WordPress REST API – это общий интерфейс данных и программирования, который позволяет считывать и записывать информацию в WordPress через разные приложения. Теперь разработчикам, которые нацелены на работу с WordPress, не понадобится углубленно разбираться в WP.

Удаляем wp json oembed 1.0 embed

Для удаления wp json oembed 1.0 embed мы будем использовать код, который вам нужно будет вставить в файл functions.php. Для этого вам необходимо зайти на ftp сервер с вашим сайтом, если не знаете как то ссылка слева вам в помощь. Напомню, что сделайте копию данного файла, мало ли что. Можно конечно сделать редактирование этого файла ,через кабинет WordPress, но если, что то пойдет не так вы сломаете сайт и вам в итоге, так же придется лезть на ftp сервер. Куда в functions.php вставлять этот код, по идее куда угодно, единственное, чтобы у вас это было до знака ?>, который чаще всего идет в конце, у меня в шаблоне в файле изначально, были помечены разные части кода поэтому я вставил вот так, идет до комментариев Footer widgets. В принципе в коде описано, что делает каждый кусок.

И сам код, скачать его можно в текстовом файле.

В итоге вы удалите из кода строку

<link rel='https://api.w.org/' href='/wp-json/' /> и как следствие, у вас пропадет создание страниц wp json oembed 1.0 embed и вы удалите уже созданные, не забудьте запретить у себя в файле robots.txt данные страницы от индекса, чтобы быть подготовленным от таких косяков со стороны WordPress, если у вас в индексе уже, что то есть, то ждем пере индексации. И следите постоянно, хотя бы раз в неделю, в кабинете яндекса или гугла, на предмет новых данных. Уверен вы удалите свои wp json oembed мусорные страницы.