Самый правильный robots.txt для wordpress 2016

В этой статье расскажу как правильно составить  robots.txt для сайта на движке wordpress , для чего он служит, и конечно же приведу пример его правильного написания.

Для чего нужен текстовый файлик robots.txt?

Файлик robots.txt требуется для правильной индексации сайта ,он сообщает поисковым роботам что именно можно индексировать а что нет. В этом файле можно запрещать индексирование различных папок движка, файлов, запрещать индексировать админ часть сайта и т.д.

Для того чтобы поисковый робот правильно индексировал  сайт, необходимо грамотно прописать файл robots.txt. Тем самым роботы будут индексировать нужные разделы сайта не тратя при этом время на внутренние файлы сайта которые должны быть обязательно закрыты.

Поисковый робот Яндекса будет строго придерживаться правилам которые вы пропишете в файле robots.txt и тем самым ускорить индексацию нужных разделов сайта. Что касается робота Гугла, если не настроить файл robots.txt , то все что связанно с движком и не нужными разделами сайта, все это попадет в поиск Гугл а это не есть хорошо.

Для проверки файла robots.txt можете воспользоваться обеими инструментами Вебмастера Гугла Яндекса.

Как найти файл robots.txt ?


Файл robots.txt расположен в корневом каталоге вашего сайт. Если данного файла нет создайте его и залейте через FTP в корневой каталог вашего сайта. Залить его можно разными способами. Воспользоваться специальной программой под названием FileZilla или создать его на хостинге, если это позволяет данный ресурс.

 

Если хотите просмотреть что содержится в вашем robots.txt, напишите в браузерной строке http://адрес_сайта/robots.txt

Правильный robots.txt для WordPress

Как и обещал правильный robots.txt для WordPress, перепишите его, после чего вставте его в корневой каталог и все готово.

 

 

Обозначения строк и правил Robots.txt/

  • «User-agent: *» Все правила которые мы прописываем, относятся и будут работать для всех поисковиков и поисковых роботов.
  • «User-agent: Yandex». Это правило означает что приведенные правила в нашем файле относятся только к поисковику Яндекс.
  • «Allow:» — это правило для разрешения к индексации.
  • «Disallow:» — это правило запрещает индексировать разделы сайта и файлы,папки, которые вы укажите в robots.txt.
  • «Host: ваш_сайт.ru» Это правило для указания зеркала вашего сайта.С www или без него.
  • «Sitemap:» — ссылка на XML-карту вашего сайта.

На этом я думаю закончим, я не стал выкладывать файл для скачки а выставил на скриншоте, так как хочу что бы разобрались в нем пока будете самостоятельно переписывать его)) Удачи всем!!

Так же вам будет интересно:




Комментарии к записи "Самый правильный robots.txt для wordpress 2016"
Перейти к форме комментирования
  1. Забрал к себе-) И правда хороший роботс-)

  2. подскажите пожалуйста, а как быть с правилом Disallow: /wp-json/
    у меня в вебмастер появилось много страниц с /wp-json/

  3. Disallow: */page/*

    Что запрещает эта команда?

  4. а зачем повторять для яндекса то, что и так для всех роботов?

Оставьте комментарий к этой записи ↓

* Обязательные для заполнения поля
Внимание: все отзывы проходят модерацию.