Robots.txt

Robots.txtЗдравствуйте, уважаемые читатели блога! Сегодня мы продолжаем оптимизацию нашего блога, а если конкретно сегодня мы с вами будем создавать файл Robots.txt. Думаю многие уже знают для чего он нужен! Ну а кто не знает вот для вас вводная часть!

У нас на блоге кроме файлов которые обязательно должен индексировать поисковый бот, есть так же файлы движка, которые ну никак не должны быть интересны боту. И мы должны в специально предусмотренном для этого файле Robots.txt прописать команды этому роботу что индексировать, куда не лезть, как добраться до карты сайта. Во общем все что нужно.

Я знаю два варианта создания этого файла первый вариант это ручками, второй способ создания установить плагин.

Первый способ это создание руками нам понадобится Notepad++ и любой ftp клиент, нам нужно создать файл с названием robot и форматом txt

Вот примерное содержимое вашего файла ( я считаю его оптимальным для вашего блога/сайта под поисковики яша и гоша или яндекс и гугл):

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml.gz
Sitemap: http://сайт.ru/sitemap.xml

только если будете копировать его то замените на свой домен, и чуть не забыл вам сказать если на вашем сайте не настроить ЧПУ то возможны проблемы с нашим робот текст. Копируем файл, редактируем и после этого загоняем его по ftp в корень. Все наш файл работает это вы можете проверить в яндекс вебмастер.

Второй способ это установить плагин KB Robots.txt плагин состоит из форму куда вам необходимо будет вписать содержимое файла и нажать «Submit» и файл будет создан. примерное содержимое вашего файла смотрите выше.

Как устанавливать плагины на вордпресс я уже описывал.

Когда активируете плагин перейдете в настройки которые найдет по названию плагина.

Если ЧПУ не настроено то удалите вот эти строчки из предоставленного вордпресс

Disallow: /*?*
Disallow: /*?

Если хотите удалить от индексации комментарии достаточно добавить вот это

Disallow: */comments
Disallow: /comments

Так как на нашем сайте путем тегов мы создаем дубли страниц а поисковики этого не любят в нашем файле мы запретили роботу из индексировать

Disallow: /tag

Ну вот мы с вами создали наш файл и теперь можем ждать больше активности от поисковиков.

Оставить комментарий

Ваш email нигде не будет показанОбязательные для заполнения поля помечены *

*