Проверка ответа сервера

С помощью инструмента «Проверка ответа сервера» вы можете узнать, доступны ли страницы сайта для роботов Яндекса.

Внимание. Когда ответ сервера отличается от HTTP-статуса с кодом 200 OK или отображается сообщение из списка ниже, страница не может участвовать в результатах поиска.

Чтобы проверить ответ сервера, перейдите на страницу Проверка ответа сервера и выполните следующее:

  1. В поле Опрашиваемый URL укажите адрес страницы, которую хотите проверить. Например, https://example.com.
  2. В поле Робот выберите робота, чтобы проверить, имеет ли он доступ к странице. В раскрывающемся списке приведены основные роботы, которые посещают большинство сайтов. Когда вы выберете робота, под полем отобразится его User-agent. Подробнее см. в разделе Роботы Яндекса в логах сервера.
  3. Нажмите кнопку Проверить.
Также вы можете проверить ответ, если ваш сервер отправляет HTTP-статус с кодом 304 Not Modified в ответ на заголовок If-Modified-Since. Для этого в поле If-Modified-Since укажите дату и время:
  • Последнего обновления проверяемой страницы. Тогда полученный ответ должен содержать HTTP-статус с кодом 200 OK.
  • Другую дату — вы должны получить ответ с кодом 304 Not Modified.

После проверки в Яндекс.Вебмастере отобразится ответ сервера роботу. Пояснения см. в разделе Справочник по кодам статуса HTTP.

Примечание. Ответ, полученный с помощью инструмента «Проверка ответа сервера», может отличаться от реального ответа роботу, так как инструмент имеет другой IP-адрес. Проверить ответ можно в логах вашего сервера.

Кроме ответа могут отображаться следующие сообщения:

Сообщение Примечание
Не удалось загрузить документ Появляется по следующим причинам:
  • Запрос робота блокируется на стороне сервера или соединение обрывается при попытке получить ответ. В этом случае проверьте, не заблокирован ли робот по IP-адресу.
  • Ошибка DNS. Проверьте, что сайт доступен и DNS настроены правильно. Если настройки недавно изменялись, данные обновятся в течение суток.
  • Истек срок ожидания ответа. Он должен быть получен в течение трех секунд.
Не удалось подключиться к серверу
Произошел обрыв соединения
URL запрещён к индексированию директивой noindex На странице есть метатег robots с директивой noindex.
URL запрещён к индексированию тегом noindex На странице есть HTML-элемент noindex.
URL запрещён к индексированию в robots.txt В файле robots.txt указана директива Disallow, запрещающая индексирование страницы или каталога, в котором она размещена.
Слишком большой объём документа Максимальный объем страницы сайта — 10 МБ.
Формат документа не поддерживается Поддерживаются HTML-документы и файлы следующих типов: PDF, DOC/DOCX, XLS/XLSX, PPT/PPTX (MS Office); ODS, ODP, ODT, ODG (Open Office); RTF, TXT и SWF.
Некорректный код ответа Поддерживаются стандартные коды HTTP-статусов.
Язык документа не распознан Список поддерживаемых языков.
В документе нет содержимого для индексирования Страница пуста или не содержит контент, который может быть проиндексирован роботом.
Содержимое страницы отсутствует

Проверьте в настройках вашего сервера:

  • HTTP-заголовок. Например, если он содержит "Content-length: 0", то робот не сможет проиндексировать такую страницу.
  • Размер содержимого страницы. Он должен быть больше 0 и соответствовать HTTP-заголовку.
Пример сообщения