Главная » Бизнес в интернет » Robots txt для вашего wordpress сайта

Robots txt для вашего wordpress сайта

О чем статья:
1. Для чего сайту необходим файл robots.txt
2. Пример написания файла robots txt для WordPress

3. Когда ожидать эффект от файла?

Добрый день, не дешёвые читатели! С вами проект «Анатомия Бизнеса» и вебмастер Александр. Мы продолжим цикл публикаций мануала «Как создать сайт на WordPress и заработать на нем», и сейчас мы побеседуем про то, как создать файл robots.txt для WordPress и для чего необходим данный файл.

В прошлых 16-и уроках мы посмотрели большое количество материала. Наш сайт почти что готов для того, чтобы начать заполнять его интересным контентом и проводить SEO-оптимизацию.

Итак, давайте переходим к делу!

Для чего сайту необходим файл robots.txt?

Ключевую ценность на этом сайте будет представляет собственно контент, но кроме него на ресурсе есть целая куча технических разделов или страниц, которые для поискового робота не считается чем-нибудь ценным.

К подобным разделам можно отнести:
— админ. панель
— поиск
— может, вы пожелае закрыть от индексации комментарии
— или какие-нибудь страницы-дубли, имеющие в собственных урлах теже самые символы

В общем, robots.txt предназначается для того, чтобы воспретить поисковому роботу индексацию тех или других страниц.
В собственное время в понимания того, как работает robots txt, мне сильно помогла эта картинка:

Авторство на себя не беру, взял на ресурсе, который написан в левом нижнем углу изображения

Как мы видим, в первую очередь, когда поисковый робот заходит на сайт, он ищет конкретно данный Файл! После его анализа он понимает в какие директории ему необходимо заходить, а в какие нет.

Многие начинающие веб мастера не берут в учет данным файлом, а напрасно! Т. к. от того насколько «чистой» будет индексация вашего сайта, зависит его позиции в поисковике.

Пример написания файла robots.txt для WordPress

Давайте сейчас разбираться, как писать данный файл. Тут сложностей нет, для его написания нам достаточно открыть традиционный текстовый процессор «блокнот» или воспользуйтесь квалифицированным процессором типа notepad+.
Вводим в редактор следующие данные:

А сейчас давайте разберемся с этим всем.

Во первых, на что необходимо обратить собственное внимание, так это на то, что файл разбит на 2 больших блока.
И в начале каждого блока стоит директория «User-agent», которая указывает для какого робота выполнен данный блок.
У нас первый блок выполнен для роботов Yandex, о чем говорит эта строка: «User-agent: Yandex»

Второй блок говорит про то, что он для абсолютно всех других роботов. На это указывает звездочка «User-agent: *».

Директория «Disallow» устанавливает, какие собственно разделы запрещены к индексации.

Сейчас разберем по разделам:

/wp-admin — запрет на индексацию админ. панели

/wp-includes — запрет на индексацию системных папок движка WordPress

/wp-comments — запрет на индексацию комментариев

/wp-content/plugins — запрет на индексацию папки с плагинами для WordPress

/wp-content/themes — запрет на индексацию папки с темами для WordPress

/wp-login.php — запрет на индекс формы входа на сайт

/wp-register.php — закрываем от робота форму регистрации

*/feed — запрет на индекс RSS-фида блога

/cgi-bin — запрет на индекс каталога скриптов на сервере

*?s= — запрет на индексацию всех URL, которые содержат ?s=

Дальше указываем главное зеркало сайта строкой:
«Host: site.ru»
Здесь обязан быть адрес Вашего сайта.

И в самом конце robots.txt показываем роботу, где находится файл sitemap.xml

Sitemap: http://site.ru/sitemap.xml

Как только файл готов, сохраняем его в корневой директории сайта.

Как закрыть какие-нибудь рубрики от индексации?

К примеру, Вы не желаете демонстрировать какую-то рубрику на Вашем сайте для поисковых роботов. Причины на это могут быть очень непохожие. К примеру, Вы желаете, чтобы Ваш собственный дневник читали только частые посетители сайта.

Допустим, рубрика именуется «мой дневник»

Первое, что нам необходимо выполнить, — это выяснить URL этой рубрики. Вероятнее всего, он будет /moy-dnevnik.

Для того чтобы закрыть данную рубрику, нам необходимо прибавить в нее следующую строку: Disallow: /moy-dnevnik

Robots.txt — когда ожидать эффект?

Могу сказать из личной практики, что не нужно ждать, что уже при следующем апгрейде все закрытые Вами рубрики уйдут из индекса. Порой данный процесс может занимать до 2-ух месяцев. Просто запаситесь терпением.

Также стоит предусмотреть, что роботы Гугл могут просто пренебрегать данный файл, если сочтут, что страница уж очень оригинальная и любопытная.

О чем необходимо помнить ВСЕГДА!

Разумеется, техническая составная часть считается не неважной, но сначала необходимо делать акцент на нужный и любопытный контент, за которым будут возвращаться частые читатели Вашего проекта! Собственно ставка на качество выполнит Ваш ресурс популярным и распространенным

Успехов Вам в интернет-бизнесе

Оставить комментарий

Ваш email нигде не будет показанОбязательные для заполнения поля помечены *

*