Метатег robots и HTTP-заголовок X-Robots-Tag

Вы можете указать роботам правила загрузки и индексирования определенных страниц сайта одним из способов:
  • прописать метатег robots в HTML-коде страницы в элементе head;
  • настроить HTTP-заголовок X-Robots-Tag для определенного URL на сервере вашего сайта.
Примечание. Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует.

По умолчанию метатег и заголовок учитываются поисковыми роботами. Можно указать директивы для определенных роботов.

  1. Поддерживаемые Яндексом директивы
  2. Указание нескольких директив
  3. Указания для определенных роботов

Поддерживаемые Яндексом директивы

Директива Описание Метатег robots Заголовок X-Robots-Tag
noindex Не индексировать текст страницы. Страница не будет участвовать в результатах поиска
nofollow Не переходить по ссылкам на странице
none Соответствует директивам noindex, nofollow
noarchive Не показывать ссылку на сохраненную копию в результатах поиска
noyaca Не использовать сформированное автоматически описание
index | follow | archive Отмена соответствующих запрещающих директив
all Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице

Разрешающие директивы используются роботом по умолчанию, поэтому их можно не указывать, если нет других директив. В сочетании с запрещающими директивами разрешающие имеют приоритет. Пример.

Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.

Пример:

Запись, которая запрещает индексирование страницы.

<html>
    <head>
        <meta name="robots" content="noindex" />
    </head>
    <body>...</body>
</html>

Указание нескольких директив

Вы можете указать директивы через запятую.

<meta name="yandex" content="noindex, nofollow" />

Если для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами метатега:

<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки 
на сохраненную копию страницы.-->

Указания для определенных роботов

Указать директиву только для роботов Яндекса можно с помощью метатега robots. Пример:

<meta name="yandex" content="noindex" />

Если вы перечислите общие директивы и директивы для роботов Яндекса, то поисковая система учтет все указания.

<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />

Такие директивы робот Яндекса воспримет как noindex, nofollow.

Если страницы долгое время не попадают в результаты поиска или были исключены, в форме приведите примеры таких страниц.