Что случилось
Google документировал поддержку Retry-After при ответах 503 и 429: можно указать задержку в секундах или абсолютное время UTC.
Как это работает
Google рекомендует временно отвечать Googlebot кодом 503 или 429, когда сервер перегружен.
Заголовок Retry-After уточняет момент следующей попытки: числом секунд либо абсолютной датой и временем UTC.
Большое число таких ответов снижает скорость обхода всего hostname, а не только проблемных URL.
После восстановления ответов Google повышает частоту автоматически.
Дольше одного-двух дней держать ограничение опасно для индексации.
Что это меняет для сайта
Это аварийный инструмент на часы или 1–2 дня.
Массовые ошибки снижают обход всего hostname, а длительное применение задерживает обновление страниц и может привести к выпадению URL из индекса.
- Кого касается: Крупные сайты, e-commerce, издатели, API-платформы и сайты с дорогим рендерингом.
- Насколько срочно: Высокий при перегрузке; средний общий
Что проверить сегодня
Добавьте корректные 503/429 и Retry-After в план реагирования на перегрузку, проверьте UTC и автоматическое восстановление нормальных ответов.
Как применить это в работе
Добавьте в incident runbook готовые ответы 503 и 429 с Retry-After.
Для абсолютной даты используйте GMT, синхронизируйте системные часы и не возвращайте 200 со страницей технических работ.
Ограничивайте обход только во время реальной аварии.
Параллельно устраните причину нагрузки: бесконечные фильтры, календари, медленный рендеринг или отсутствие кеша.
Robots.txt не подходит для краткого аварийного управления.
Как проверить эффект
В логах отметьте начало инцидента, коды, Retry-After и момент восстановления 200.
Проверяйте запросы Googlebot, время ответа и долю ошибок по hostname, а не по одной странице.
После снятия ограничения наблюдайте Crawl Stats, обновление цен и наличия, повторный обход важных URL и их состояние в индексе.
Если частота не возвращается, ищите оставшиеся ошибки сервера.
На чём основан материал
- Google Crawling InfrastructureОфициальная документация Google
- Дополнительный контекстДополнительный источник
Здесь перечислены документы, исследования и публикации, на которые мы опирались. Факты из источников отделены от наших практических выводов и рекомендаций.