Почему страницы исключены из поиска

Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам. Чтобы узнать, по какой именно причине страница исключена, перейдите в Яндекс.Вебмастер на страницу Индексировнаие → Страницы в поиске и выберите Исключённые страницы). Подробно о блоке Исключённые страницы

Причина исключения страницы Решение
Ошибка при загрузке или обработке страницы роботом — если ответ сервера содержал HTTP-статус 3XX, 4XX или 5XX

Выявить ошибку поможет инструмент Проверка ответа сервера.

Если страница доступна для робота, проверьте, что:
  • информация о страницах есть в файле Sitemap;

  • в файле robots.txt нет установленной без надобности директивы Crawl-delay, а запрещающие директивы Disallow, noindex и HTML-элемент noindex закрывают от индексирования только служебные и дублирующие страницы.
Индексирование страницы запрещено в файле robots.txt или с помощью метатега с директивой noindex

Удалите запрещающщие директивы. Если вы самостоятельно не размещали запрет в файле robots.txt, обратитесь к хостинг-провайдеру или регистратору доменного имени для выяснения подробностей.

Также проверьте, не было ли блокировки доменного имени в связи с истечением срока регистрации.

Страница перенаправляет робота на другие страницы Убедитесь, что исключенная страница действительно должна перенаправлять пользователей. Для этого используйте инструмент Проверка ответа сервера.
Страница дублирует содержание другой страницы Если страница определена как дубль по ошибке, следуйте указаниям в разделе Дублирование страниц.
Страница не является канонической Проверьте, что страницы действительно должна перенаправлять робота на URL, указанный в атрибуте rel="canonical".
Сайт признан неглавным зеркалом Если сайты объединены в группу по ошибке, следуте рекомендациям в разделе Расклейка зеркал сайта.
На сайте обнаружены нарушения Чтобы проверить это, перейдите в Яндекс.Вебмастер на страницу Диагностика → Безопасность и нарушения.
Страница признана недостаточно качественной

Если страница достаточно соответствует запросу, она отобразится в результатах поиска. Если страница не участвует в поиске длительное время, это означает, что на текущий момент она недостаточно хорошо отвечает на запросы пользователей.

Ознакомьтесь с рекомендациями, чтобы улучшить сайт для пользователей:

На какие вопросы отвечает ваш сайт

Представление информации на сайте

Робот продолжает посещать исключенные из поиска страницы, а специальный алгоритм проверяет вероятность их показа в выдаче перед каждым обновлением поисковой базы. Таким образом, страница может появится в поиске в течение двух недель после того, как робот узнает о ее изменении.

Если вы устранили причину удаления страницы, отправьте страницу на переобход. Так вы сообщите роботу об изменениях.

Вопросы и ответы про исключенные из поиска страницы

На странице правильно заполнены метатеги Description, Keywords и элемент title, страница соответствует всем требованиям. Почему она не в поиске?

Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы. При этом метатегам стоит уделять внимание. Например, метатег Description и элемент title могут создаваться автоматически, повторять друг друга.

Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размером или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.

Страницы, которые отображаются как исключенные, в браузере открываются нормально. Что это значит?

Это может происходить по нескольким причинам:

  • Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно.
  • Если страница исключена из поиска из-за ошибки при ее загрузке, она исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна. Проверьте ответ сервера по интересеющему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.
В списке «Исключенные страницы» показываются страницы, которых уже нет на сайте. Как их удалить?

В разделе Страницы в поиске, в списке Исключенные страницы, отображаются страницы, к которым робот обращался, но не проиндексировал (это могут быть уже несуществующие страницы, если ранее они были известны роботу).

Страница удаляется из списка исключенных, если:

  • она недоступна для робота в течение некоторого времени;
  • на нее не ссылаются другие страницы сайта и внешние источники.

Наличие и количество исключенных страниц в сервисе не должно влиять на положение сайта в результатах поиска.

Чтобы ваш вопрос быстрее попал к нужному специалисту, уточните тему:

Исключение страниц из поиска не является ошибкой со стороны сайта или индексирующего робота: исключаются страницы, которые пользователи не смогут обнаружить по запросам, поэтому их исключение не должно повлиять на видимость проиндексированных страниц сайта.

Напишите в службу поддержки, если:

  • страницы занимали высокие позиции в результатах поиска до момента их исключения;
  • позиции сайта после исключения страниц существенно понизились;
  • количестве переходов из поисковой системы значительно сократилось после исключения страниц.