Robots.txt

Want create site? Find Free WordPress Themes and plugins.

Robots.txtЗдравствуйте, уважаемые читатели блога! Сегодня мы продолжаем оптимизацию нашего блога, а если конкретно сегодня мы с вами будем создавать файл Robots.txt. Думаю многие уже знают для чего он нужен! Ну а кто не знает вот для вас вводная часть!

У нас на блоге кроме файлов которые обязательно должен индексировать поисковый бот, есть так же файлы движка, которые ну никак не должны быть интересны боту. И мы должны в специально предусмотренном для этого файле Robots.txt прописать команды этому роботу что индексировать, куда не лезть, как добраться до карты сайта. Во общем все что нужно.

Я знаю два варианта создания этого файла первый вариант это ручками, второй способ создания установить плагин.

Первый способ это создание руками нам понадобится Notepad++ и любой ftp клиент, нам нужно создать файл с названием robot и форматом txt

Вот примерное содержимое вашего файла ( я считаю его оптимальным для вашего блога/сайта под поисковики яша и гоша или яндекс и гугл):

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml.gz
Sitemap: http://сайт.ru/sitemap.xml

только если будете копировать его то замените на свой домен, и чуть не забыл вам сказать если на вашем сайте не настроить ЧПУ то возможны проблемы с нашим робот текст. Копируем файл, редактируем и после этого загоняем его по ftp в корень. Все наш файл работает это вы можете проверить в яндекс вебмастер.

Второй способ это установить плагин KB Robots.txt плагин состоит из форму куда вам необходимо будет вписать содержимое файла и нажать «Submit» и файл будет создан. примерное содержимое вашего файла смотрите выше.

Как устанавливать плагины на вордпресс я уже описывал.

Когда активируете плагин перейдете в настройки которые найдет по названию плагина.

Если ЧПУ не настроено то удалите вот эти строчки из предоставленного вордпресс

Disallow: /*?*
Disallow: /*?

Если хотите удалить от индексации комментарии достаточно добавить вот это

Disallow: */comments
Disallow: /comments

Так как на нашем сайте путем тегов мы создаем дубли страниц а поисковики этого не любят в нашем файле мы запретили роботу из индексировать

Disallow: /tag

Ну вот мы с вами создали наш файл и теперь можем ждать больше активности от поисковиков.

Did you find apk for android? You can find new Free Android Games and apps.

Оставить комментарий

Ваш email нигде не будет показанОбязательные для заполнения поля помечены *

*

Если вы хотите получать уведомления на свой E-mail о появлении новых статей, то рекомендуем вам чуть ниже ввести свой электронный почтовый адрес.