Новости интернет-маркетинга

Участники Рекламной сети Яндекса могут управлять скоростью обхода своего сайта роботом РСЯ при помощи дерективы Crawl-delay в файле robots.txt.

Директива Crawl-delay устанавливает продолжительность паузы, которую делает робот между загрузками страниц сайта. При отсутствии файла robots.txt или директивы в нём минимальная пауза составляет 2 секунды. Такая продолжительность паузы обеспечивает оптимальную скорость индексации для большинства сайтов и не создает чрезмерной нагрузки на серверы и хостинг. Например, она позволяет роботу РСЯ полностью проиндексировать сайт, состоящий из нескольких тысяч страниц, в течение суток.

Крупным сайтам мы рекомендуем устанавливать значение crawl-delay менее двух секунд.

Устанавливать значение Crawl-delay больше двух секунд имеет смысл, если робот РСЯ создает ощутимую нагрузку на сайт и мешает его нормальной работе.

Помните, что слишком высокое значение Сrawl-delay может понизить качество рекламы и монетизацию вашего сайта.

Получить более подробную информации о директиве Сrawl-delay можно на странице: http://help.yandex.ru/webmaster/?id=996567#1022359.