Можно написать идеальный текст и не получить трафик просто потому, что робот до страницы не дошёл или дошёл слишком поздно. За то, сколько страниц и как часто обходит поисковик, отвечает краулинговый бюджет. На небольших сайтах он редко становится проблемой, но на средних и крупных — это прямой рычаг скорости индексации. Разберём, как его не разбазаривать.

Что такое краулинговый бюджет

Краулинговый бюджет — это условное количество страниц, которое поисковый бот готов обойти на вашем сайте за отведённое время. Если бот тратит его на мусорные, дублирующиеся и служебные адреса, до важных страниц он добирается реже. Задача SEO — направить бюджет на то, что должно ранжироваться, и убрать всё, что его крадёт.

Чистим ошибки: 4xx, 5xx и лишние редиректы

Первое, с чего начинают: зачистить все ответы 4xx (битые) и 5xx (серверные ошибки) — они тратят обходы впустую и портят сигналы качества. Дальше — сократить цепочки 3xx: каждый лишний редирект это дополнительный запрос. Поправьте внутренние ссылки так, чтобы они вели сразу на конечный адрес, а не через промежуточные переклейки.

robots.txt и служебные страницы

Закройте в robots.txt всё, что не должно попадать в индекс и не нужно роботу: служебные разделы, корзины, страницы с UTM-метками, бесконечные списки фильтров. Ненужные фильтры лучше уводить в noindex. Здесь важно не перемудрить: чрезмерно сложный, годами обраставший директивами robots.txt сам становится источником проблем — были случаи, когда именно запутанные правила резали половину полезного трафика, и лечение сводилось к аккуратной чистке файла.

Отдельная тема — параметры URL. Google убрал из Search Console старый инструмент обработки параметров и предлагает разбираться самостоятельно через robots.txt. В Яндексе для этого есть директива Clean-param. И то и другое помогает не плодить дубли из адресов с «хвостами» вида ?sort=, ?utm_=.

Скорость сайта и обход

Чем быстрее отдаётся страница, тем больше их бот успевает обойти за то же время. Базовый набор: включённое кэширование, минификация CSS и JS, разумное число HTTP-запросов, современный хостинг и CDN. В WordPress частая находка — десятки плагинов, каждый из которых тянет свои запросы; даже неактивированные плагины могут добавлять лишнюю нагрузку. Скорость влияет не только на обход, но и на ранжирование напрямую — подробнее в чек-листе технического аудита.

Анализ логов: что робот смотрит на самом деле

Догадки о том, «что индексируется», стоит заменить фактами из логов сервера. Анализатор логов (например, SEO Log File Analyser от Screaming Frog) показывает, какие страницы бот реально посещает и как часто. Дальше логика простая: с самых посещаемых ботом страниц ставьте ссылки на те, которые нужно быстрее переиндексировать, — так вы «подводите» робота к нужным адресам по уже протоптанным тропам.

XML-карта и определение каноничной страницы

XML-карта сайта давно не сводится к «подсунуть роботу список URL». Наличие адреса в карте — один из сигналов каноничности: при выборе главной страницы из пула дублей Google учитывает, какая из них указана в sitemap.xml. Полезный приём при переезде: когда вы редиректите старые адреса на новые, оставьте старые URL в карте на время — так робот быстрее обнаружит редиректы и переклеит страницы.

Ленивая загрузка и JavaScript

Если часть контента подгружается скриптами при прокрутке (lazy load), робот может её не увидеть. Googlebot не «скроллит» страницу как человек — он меняет размер виртуального окна. Поэтому обработчики события «прокрутки» могут не сработать, и подгружаемый контент останется несканированным. Вывод: важный текст и ссылки не должны зависеть от скролла и JS — отдавайте их в исходном HTML.

Чек-лист быстрой индексации

  1. Убрать 4xx и 5xx, сократить цепочки редиректов.
  2. Закрыть служебные, UTM- и фильтровые страницы в robots.txt / noindex.
  3. Навести порядок с параметрами URL (robots.txt / Clean-param).
  4. Ускорить сайт: кэш, минификация, CDN, меньше HTTP-запросов.
  5. Проанализировать логи, связать «горячие» для бота страницы с приоритетными.
  6. Проверить XML-карту и каноничность.
  7. Убедиться, что важный контент не спрятан за lazy load / JS.
🛠 Инструменты и разделы, которые пригодятся