Чтобы индексирование ресурса осуществлялось в разы быстрее, следует сделать правильную настройку robots.txt для админки WordPress. Каким образом все это делать, я детально расскажу. Если Вы ограничены во времени, или не желаете читать о создании robots.txt для wordpress, рекомендую скачать его, после чего залить его на свой хостинг:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: ваш_сайт.ru

Sitemap: http://ваш_сайт.ru /sitemap.xml.gz
Sitemap: http://ваш_сайт.ru /sitemap.xml

Для чего необходим robots.txt

Изначально следует знать, что robots.txt представляет собой файл, который необходим для работы с поисковыми роботами. С его помощью роботы видят те папки и файлы, которые нуждаются в индексации. Крайне важно помнить, что следует постоянно скрывать те документы, в индексации которых нет потребности, поскольку он может банально утомиться, и не перейти к индексу самых значимых файлов.

В том случае, если у ресурса есть поддомены, каждому из них следует создать свой собственный robots.txt.

Яндекс и Google немного отличаются в процессе индексации. Яндекс щепетильно относится к правилам. заданным robots.txt, а Гугл может индексировать даже те страницы, которые находятся в запрете, и это стоит всегда учитывать.

В каком месте расположен robots.txt WordPress

Данный файл должен располагаться в ключевом каталоге ресурса. Чтобы зайти в этот каталог, нужно проделать такие действия:
— сделать загрузку документа, который заранее отредактирован;
— начать работу с Total Commander.

После этого можно увидеть, что содержит роботс, набрав запрос такого характера: http://адрес_сайта/robots.txt.

Истинно верный robots.txt для админки WordPress
ee681c0e3c
Приятно вас познакомить с знаменитым кодом файла роботс. Рекомендую сейчас же его скопировать и сохранить себе. В том случае, если вы горите желанием прочесть код, прошу вас ознакомиться с их трактовкой:
«User-agent:*» — говорит о том, что все правила, которые обозначены ниже будут выполняться всеми поисковыми системами.
«Allow:» — разрешение для проведения индексации.
«Disallow:» — запрет на проведение индексации.
«Host: сайт.ru» — зеркало, которое следует прописать в любом месте документа в обязательном порядке, поскольку так находится и открывается ресурс.
«Sitemap:» — ссылка, которая ведет на XML-карту ресурса. В том случае, если файлов с XML-картами много, стоит предоставить информацию обо всех.

В том случае, если на ресурсе не сделана настройка ЧПУ, то не следует тратить свое время на файл robots txt для wordpress, поскольку он вам не будет подходить. Используйте лучше другой вариант.

После того, как загрузка и настройка файла будет завершена, в обязательном порядке проверьте, как он работает в разных поисковых системах. В ближайшем будущем я думаю написать еще посты о том, как продвигать свой блог, поэтому приглашаю вас подписываться на RSS, чтобы первым получать новости.

Рекомендую прочесть:
Как ускорить процесс индексации сайта.
Конструкторы сайтов.