Почему страницы сайта не появляются в поиске Яндекса

Не путайте обход, индексацию и позиции

Страница может существовать на сайте, но робот о ней не знает. Может быть просканирована, но не выбрана для индекса. Может находиться в базе, но не показываться по ожидаемым запросам.

Это три разных ситуации:

• обход — робот обнаружил и открыл URL;
• индексация — поисковая система сохранила страницу как подходящую для поиска;
• ранжирование — страница участвует в выдаче и занимает позицию.

Sitemap сообщает о существовании URL, но не обязывает включать его в индекс. Добавление адреса в карту полезно, однако не устраняет запрет, дубль или отсутствие ценности.

Диагностику проводят по конкретным примерам и типам страниц. Если исключены все страницы нового шаблона, вероятна системная техническая причина. Если несколько похожих фильтров — поисковик мог выбрать только канонические варианты.

Технические причины отсутствия в индексе

Сначала проверьте, может ли робот получить нормальную страницу.

Частые проблемы:

• код ответа 404, 403 или 500;
• длинная цепочка редиректов;
• запрет в robots.txt;
• noindex в meta robots или HTTP-заголовке;
• защита авторизацией;
• контент загружается только после сложного JavaScript;
• сервер нестабилен или слишком медленно отвечает;
• мобильная версия отдаёт другой результат;
• страница доступна только после заполнения формы;
• тестовый запрет перенесён на основной сайт.

Проверяйте исходный ответ сервера и итоговый URL. Браузер может визуально показать страницу, хотя в цепочке есть редирект или содержимое подставлено скриптом.

После переноса сайта особенно важно снять noindex, обновить robots и убедиться, что основной домен не перенаправляется на тестовый.

Дубли, canonical и параметры

Один контент может быть доступен по нескольким адресам: со слэшем и без, с параметрами сортировки, метками, разным регистром или через несколько категорий. Поисковая система выбирает один канонический URL, остальные могут не участвовать в поиске.

Проверьте:

• куда указывает rel="canonical";
• совпадает ли канонический адрес с sitemap;
• не ведёт ли canonical всех страниц на категорию или главную;
• доступны ли HTTP, HTTPS, www и без www;
• создают ли фильтры и сортировки дубли;
• есть ли параметры с тем же содержанием;
• не опубликованы ли печатные версии;
• не повторяется ли товар в нескольких URL.

Canonical является подсказкой, а не способом скрыть любую техническую проблему. Лучше устранить лишние варианты редиректом или правилами генерации ссылок, где это возможно.

Если страницы похожи, но должны индексироваться отдельно, им нужна самостоятельная задача, контент и внутренние ссылки.

Почему технически доступную страницу могут не выбрать

Поиску не обязательно хранить каждую страницу. Слабые причины для включения:

• пустая категория;
• карточка без характеристик и описания;
• региональная копия с заменой города;
• тег с одним товаром;
• статья, повторяющая существующий материал;
• сгенерированный текст без новых фактов;
• страница фильтра без спроса;
• URL, на который нет внутренних ссылок.

Улучшение не означает «добавить больше символов». Категории нужен ассортимент и удобство выбора, карточке — точные данные, статье — полноценный ответ, странице услуги — коммерческая информация и доказательства.

Внутренние ссылки показывают роль страницы. Если URL есть только в sitemap и не связан с каталогом, меню, статьями или товарами, его значение неочевидно.

Порядок диагностики конкретного URL

1. Откройте страницу без авторизации и проверьте код ответа.
2. Проверьте robots.txt, meta robots и HTTP-заголовки.
3. Посмотрите canonical и итоговый адрес после редиректов.
4. Убедитесь, что URL есть в sitemap только один раз.
5. Найдите внутренние ссылки на страницу.
6. Сравните её с наиболее похожими URL.
7. Оцените полноту и самостоятельный интент.
8. Проверьте статус в панели для вебмастеров.
9. Исправьте причину и отправьте страницу на повторный обход.
10. Дождитесь переобхода, не меняя всё повторно каждый день.

Не стоит массово отправлять адреса на переобход, пока системная ошибка не исправлена. Сначала устраните причину на шаблоне, затем обновите карту и внутренние ссылки.

Особенности новых и массово созданных страниц

Новый раздел может индексироваться постепенно. Поисковику нужно обнаружить его, понять место в структуре и сравнить страницы между собой. Важные URL следует связать с родительскими категориями, меню, тематическими статьями и другими релевантными разделами.

При массовой генерации контролируйте качество до публикации. Тысячи комбинаций городов, характеристик или тегов создают нагрузку на обход и могут скрыть действительно полезные страницы.

Для каждой индексируемой страницы ответьте:

• есть ли самостоятельный спрос;
• отличается ли предложение;
• достаточно ли товаров или фактов;
• существует ли путь из основного сайта;
• не дублирует ли она фильтр или другой URL;
• будет ли информация поддерживаться актуальной.

Если ответов нет, страницу лучше не открывать для поиска только ради увеличения числа URL.

Если страницы индексируются, но не выходят в нужную выдачу, переходите от технической диагностики к релевантности, структуре и конкуренции. Это отдельная задача, разобранная в материале «Почему сайт не выходит в ТОП Яндекса».