Правильный robots.txt для WordPress. Поисковая оптимизация | МАРКЕТИНГ В ИНСТАГРАМ
МАРКЕТИНГ В ИНСТАГРАМ

Правильный robots.txt для WordPress. Поисковая оптимизация

17

Сен

Правильный robots.txt для WordPress. Поисковая оптимизация





Работа с файлом robots.txt для WordPress, правильная организация и использование. Поисковая оптимизация блога с помощью robots.txt.

С целью поисковой оптимизации своего блога начал рыться в корне и вспомнил, что есть так называемый робот, который помогает при работе с поисковиками.

Robots.txt (правильно robots.txt) — файл настройки индексации блога WordPress, который говорит поисковику, какие каталоги, ссылки и страницы не нужно индексировать. Если такого файла нет, то индексируется и записывается в базу всё подряд с ресурса. Первый вопрос, который возникает: зачем это нужно? Чтобы ответить на него нужно обратиться к структуре блога. Каждый новый пост имеет свою рубрику/подрубрику и не одну, теги или метки (ярлыки). Т.е. одна статья имеет несколько одинаковых страниц, но с той лишь разницей, что к ней прикреплены разные рубрики или метки. Это также отвечает на вопросы: Нужно ли убирать с индексации рубрики и метки?

Когда только создавал блог, особо не обращал на это внимание, т.к. до конца всё не понимал и делал по аналогии. Мой робот выглядел так:

Disallow — запрет индексации.

User-agent: * — основные правила

Disallow: /cgi-bin —  скриптов

Disallow: /wp-admin — админки

Disallow: /wp-includes — wp-includes

Disallow: /wp-content/plugins — плагинов

Disallow: /wp-content/cache — кэша

Disallow: /wp-content/themes — тем

Disallow: /trackback — трэкбеков

Disallow: /feed — фида (RSS ленты)

Disallow: /comments — комментариев

Disallow: /category/*/* — категорий (рубрик)

Типы адресов для запрета:

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads — разрешено индексирование папки uploads (обычно сюда заливаются картинки)

# Google Image — правила для Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

# Google AdSense — правила для Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

# Internet Archiver Wayback Machine — правила для интернет архива Wayback Machine

User-agent: ia_archiver

Disallow: /

# digg mirror — правила для duggmirror.com

User-agent: duggmirror

Disallow: /





Sitemap: http://compass-blogger.com.ua/sitemap.xml — карта сайта

User-agent: Yandex — правила для Яндекса

Crawl-delay: 5 — таймаут индексирования страниц блога Яндексом (0.5, 1, 2, и т.д.) Чем меньше, тем быстрее происходит обход сайта.

Disallow: /tag — теги (метки, ярлыки)

Disallow: /page/— страницы

Теперь о том, что можно подправить:

  1. Не запрещена индексация тегов  в Google. Чтобы не дублировать записи можно прописать Disallow: /tag в User-agent: *.
  2. Запрещена индексация комментариев Disallow: /comments. Если на вашем блоге грамотные комментарии и несут полезную информацию, так почему не дать пользователю обратиться к ним через поиск? Очень часто при поиске нужной информации я нахожу её не в основной статье, а в комментариях. Чтобы не происходила индексация ссылок в комментариях используется плагин WP-Noindex.

Заметил также, что ещё многие блоггеры добавляют:

К основным правилам:

Disallow: /wp-login.php — вход в админ панель блога

Disallow: /wp-register.php — регистрация на блоге

К типам адресов для запрета:

Disallow: /?feed=

Disallow: /?s=

Отдельные правила для Яндекса:

User-agent: Yandex

Disallow: /cgi-bin/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /tag/

Disallow: /page/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Disallow: /*?*

Disallow: /*?

Host: compass-blogger.com.ua — исключение дублей с www.compass-blogger.com.ua

При работе с файлом robots.txt также нужно пользоваться возможностями, которые предоставляют поисковики Yandex и Google. Это Яндекс Вебмастер (webmaster.yandex.ru) и Инструменты для вебмастера (www.google.com/webmasters/tools). Предварительно необходимо добавить свой сайт, его карту sitemap.xml и robots.txt. Следует обратить внимание на неработающие ссылки на блоге, которые также здесь можно редактировать. Используя статистику посещений, запросов, рейтингов и других возможностей можно легко управлять своим сайтом и выводить его на хорошие позиции.

Готовый robots.txt для WordPress

[code toolbar=»true»]

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-admin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /page/

Disallow: /trackback/

Disallow: /feed/

Disallow: /tag/

Disallow: */trackback/

Disallow: */feed/

Disallow: /?feed=

Disallow: /?s=

Disallow: /*?*

Disallow: /*?

User-agent: Yandex

Disallow: /cgi-bin/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /page/

Disallow: /tag/

Disallow: /trackback/

Disallow: /feed/

Disallow: */trackback/

Disallow: */feed/

Disallow: /?feed=

Disallow: /?s=

Disallow: /*?*

Disallow: /*?

Host: ВАШ_ДОМЕН

Crawl-delay: 5

Sitemap: http://ВАШ_ДОМЕН/sitemap.xml

[/code]

Сделать файл robots.txt легко, достаточно создать текстовый документ, добавить в него нужные правила и залить в корень сайта. Нужно помнить, что по умолчанию этого файла нет в Wordpress и поэтому надо заранее позаботиться о его создании.

Как вы понимаете из этой статьи создание сайтов или блогов в интернете требует определённых знаний, даже с готовыми CMS и шаблонами не каждый способен работать. Для тех, кто решил заняться сайтостроением, но не знает с чего начать, рекомендую подписаться на учебный портал WebForMySelf.com, который поможет вам справиться с первыми трудностями в создании сайтов, а также будет направлять вас по мере получения новых знаний о сайтостроении. Если вы до сих пор не знаете как создать свой сайт, тогда подпишитесь на обновления ресурса и получайте бесплатные уроки по сайтостроению на свой почтовый ящик. Кроме этого, вы также можете приобрести платные видеоуроки, которые ускорят ваше обучение и дадут тот бесценный опыт и знания актуальные сегодня как никогда!как создать свой сайт





Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *