Метатег robots и HTTP-заголовок X-Robots-Tag

Вы можете указать роботам правила загрузки и индексирования определенных страниц сайта одним из способов:
  • прописать метатег robots в HTML-коде страницы в элементе head;
  • настроить HTTP-заголовок X-Robots-Tag для определенного URL на сервере вашего сайта.
Примечание. Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует.

По умолчанию метатег и заголовок учитываются поисковыми роботами. Можно указать директивы для определенных роботов.

  1. Поддерживаемые Яндексом директивы
  2. Указание нескольких директив
  3. Указания для определенных роботов

Поддерживаемые Яндексом директивы

Директива Описание Метатег robots Заголовок X-Robots-Tag
noindex Не индексировать текст страницы. Страница не будет участвовать в результатах поиска.
nofollow Не переходить по ссылкам на странице.
noarchive Не показывать ссылку на сохраненную копию в результатах поиска.
noyaca Не использовать сформированное автоматически описание.
none Аналогично метатегам noindex, nofollow.
all Разрешено индексировать текст и ссылки на странице. Используется по умолчанию и не влияет на работу поисковых роботов, если нет других указаний.

Роботы других поисковых систем и сервисов могут иначе интерпретировать эти директивы.

Пример:

Запись, которая запрещает индексирование страницы.

<html>
    <head>
        <meta name="robots" content="noindex" />
    </head>
    <body>...</body>
</html>

Указание нескольких директив

Вы можете указать директивы через запятую.

<meta name="yandex" content="noindex, nofollow" />

Если для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами метатега:

<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки 
на сохраненную копию страницы.-->

Указания для определенных роботов

В примере метатег запрещает индексирование страницы основному индексирующему роботу Яндекса.

Измените значение атрибута name — укажите User-agent робота, для которого хотите добавить правило. Полный список роботов Яндекса.

<meta name="yandex" content="noindex" />

Чтобы указать директивы для всех роботов Яндекса, в атрибуте name используйте значение yandex.

Если вы перечислите разные директивы для нескольких поисковых роботов, то поисковая система учтет все директивы.

<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />

Такие директивы робот Яндекса воспримет как noindex, nofollow.