Фаил robots. txt

Файл robots.txt - это текстовый файл, находящийся в корневой директории сайта (robots.txt имеет путь относительно имени сайта www.ваш сайт/robots.txt).

Файл robots.txt содержит в себе информацию, указывающую роботам поисковых систем - как правильно следует индексировать сайт, какие папки (директории сайта) запретить к индексации, какие разрешить и т.д.

Robots.txt - это первый файл, который "читает" робот поисковой системы Яндекс, и, в зависимости от того, что там написано, робот начинает работать с содержанием сайта. Поэтому, если файла robots.txt для сайта у Вас нет, то поисковый робот Яндекса будет "читать" Ваш сайт - как ему удобно, а это не всегда положительно сказывается на индексации страниц сайта и его месторасположении в поисковой выдаче.

Пример robots.txt:

Правильный robots.txt имеет вид:

Здесь я бы мог написать кучу разных операторов данного файла - но это будет неправильно.

Ибо для каждой отдельной cms системы файл robots txt будут отличаться.

Такого содержания файл robots.txt указывает на то, что сайт открыт для индексации любым роботом - поисковиком, т.к. значение "User-agent" файла robots.txt является "*", запись описывает политику доступа по умолчанию для любого робота, не нашедшего своего названия в других записях "User-agent", например "User-agent: Yandex" - указания только для робота "Yandex".

как сделать файл robots.txt

Не допускается наличие нескольких записей "User-agent: *" в файле robots.txt. Поле "User-agent" файла с именем конкретного робота так же не должно повторяться в robots.txt.

Значение директивы "Disallow" файла robots.txt описывает часть Вашего сайта, которую запрещено посещать роботам. Любой URL, начинающийся этим значением, не будет сканироваться. Пустое значение параметра "Disallow" означает, что весь сайт доступен для робота.

Значение "/" значит полный запрет на индексацию сайта. По меньшей мере одно поле "Disallow" должно присутствовать в файле robots.txt.

В нельзя оставлять пустые строки между директивами "User-agent" и "Disallow", а также между директивами "Disallow" , относящимися к одному "User-agent". А перед каждой директивой "User-agent" пустая строка желательна.

Как составить robots txt для wordpress - видеоурок.

Пример robots.txt для wordpress:

Правильный robots.txt для wordpress имеет вид:

    User-agent: YandexBlog
    Disallow:

    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /template.html
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    Disallow: /tag
    Disallow: /category
    Disallow: /archive
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: */comments/
    Disallow: /?feed=
    Disallow: /?s=

    Sitemap: http://team-system.ru/sitemap.xml

    User-agent: Yandex
    Allow: /wp-content/uploads/
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /template.html
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    Disallow: /tag
    Disallow: /category
    Disallow: /archive
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: */comments/
    Disallow: /?feed=
    Disallow: /?s=
    Host: team-system.ru

Не забудьте вместо домена team-system.ru - написать имя своего домена.

Для сайтов, расчитанных на русскоязычную аудиторию, где лидирует поисковая система Яндекс, лучше всего писать в файле robots.txt указание для всех роботов поисковиков и отдельно для Яндекса (пример следующий пример):

User-agent: *
Disallow: /admin/ <---- нельзя оставлять пустые строки между директивами "User-agent" и "Disallow"
Disallow: /data/
Disallow: /css/
Disallow: /opros/    ,    <---- нельзя оставлять пустые строки между директивами "Disallow"!
Disallow: //UserFiles/
Disallow: /inc/
Disallow: /kcaptcha/
Disallow: /rss/
Disallow: /tinymce/
Disallow: /cgi-bin/
                                       <----- перед каждой директивой "User-agent" файла robots.txt пустая строка желательна!
User-agent: Yandex
Disallow: /admin/
Disallow: /data/
Disallow: /css/
Disallow: /opros/
Disallow: //UserFiles/
Disallow: /inc/
Disallow: /kcaptcha/
Disallow: /rss/
Disallow: /tinymce/
Disallow: /cgi-bin/
Host: www.businessvinternet.ru   <----- url в директиве Host следует писать без "http://" и без закрывающего слеша/

Подробнее о файле robots.txt (примеры robots.txt), его синтаксисе, наиболее часто встречающихся ошибках при его написании можно прочесть здесь: www.robotstxt.org.ru

Правильно составленный файл robots.txt для Вашего сайта - дает Вам уверенность в том, что Ваш сайт будет правильно прочитан роботом Яндекса, что даст Вам уверенность в его грамотной индексации!

На сайте - бизнес в интернете - Вы найдете множество других полезных идей и способов для улучшения эффективности работы сайта и его оптимизации. Используйте поиск по сайту!

Получай свежие посты блога с:
+ видеозаметками личной эффективности;
+ методиками роста прибыли в Int;
+ способами продвижения в Int;
+ кейсами по набору подписчиков;
и др. полезностями на свой e-mail: ==>