Директива Crawl-delay
Если сервер сильно нагружен и не успевает отрабатывать запросы робота, воспользуйтесь директивой Crawl-delay
. Она позволяет задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.
Перед тем, как изменить скорость обхода сайта, выясните к каким именно страницам робот обращается чаще.
- Проанализируйте логи сервера. Обратитесь к сотруднику, ответственному за сайт, или к хостинг-провайдеру.
- Посмотрите список URL на странице Все страницы). в Яндекс.Вебмастере (установите переключатель в положение
Если вы обнаружите, что робот обращается к служебным страницам, запретите их индексирование в файле robots.txt с помощью директивы Disallow. Это поможет снизить количество лишних обращений робота.
Как правильно указать директиву Crawl-delay
В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Crawl-delay
необходимо добавить в группу, которая начинается с записи User-agent
(непосредственно после директив Disallow
и Allow
).
Поисковый робот Яндекса поддерживает дробные значения Crawl-delay
, например, 0.1. Это не гарантирует, что поисковый робот будет заходить на ваш сайт 10 раз в секунду, но позволяет ускорить обход сайта.
Эти указания не учитываются роботом, который обходит RSS-канал для формирования Турбо-страниц.
Примеры:
User-agent: Yandex
Crawl-delay: 2.0 # задает тайм-аут в 2 секунды
User-agent: *
Disallow: /search
Crawl-delay: 1.5 # задает тайм-аут в 1.5 секунды