Индексация сайта — это добавление его страниц в базу данных поисковой системы (индекс). Поисковик регулярно обходит сайты специальной программой, считывает содержимое страниц, обрабатывает их и сохраняет у себя. Только после этого страница может появиться в результатах поиска по запросам пользователей. Если страница не в индексе — для Яндекса и Google её фактически нет.
01Как страница попадает в поиск
Путь страницы от публикации до показа в выдаче можно разложить на три этапа:
- Обход (краулинг). Поисковый робот переходит по ссылкам и находит новые и обновлённые страницы. О том, как именно он это делает, мы рассказываем в материале что такое поисковый робот и как он работает.
- Индексация. Робот анализирует содержимое: текст, заголовки, ссылки, изображения — и добавляет страницу в индекс, если она пригодна для показа.
- Ранжирование. Когда пользователь вводит запрос, поисковик выбирает из индекса подходящие страницы и расставляет их по местам в выдаче.
Важно различать эти этапы: страница может быть обойдена роботом, но не попасть в индекс, либо попасть в индекс, но ранжироваться низко. Индексация — обязательное условие, без которого остальное невозможно.
02Как помочь сайту проиндексироваться
Поисковики стараются находить страницы сами, но вы можете заметно ускорить и упорядочить этот процесс:
- Карта сайта (sitemap.xml) — список всех важных страниц, который вы передаёте поисковику. Он подсказывает роботу, что обходить.
- Файл robots.txt — инструкция, какие разделы можно сканировать, а какие закрыты.
- Яндекс.Вебмастер и Google Search Console — панели, где можно отправить страницу на переобход и отследить статус индексации.
- Внутренние ссылки — чем логичнее связаны страницы между собой, тем проще роботу до них добраться.
Подробный разбор того, как проверить и ускорить попадание страниц в базу Яндекса, мы вынесли в отдельную статью — индексация сайта в Яндексе: как ускорить и проверить.
03Почему страница может не индексироваться
Если нужная страница не появляется в поиске, причина обычно в одном из типичных барьеров:
- Запрет в robots.txt или мета-тег
noindex— страница намеренно или по ошибке закрыта от индексации. - Дубли и каноникал. Поисковик считает страницу копией другой и выбирает в индекс только одну версию.
- Низкое качество или пустота. Страница без полезного содержимого может не попасть в индекс.
- Технические проблемы. Ошибки сервера, медленная загрузка, недоступность для робота.
- Молодость страницы. Новым страницам иногда нужно время, чтобы робот их нашёл и обработал.
Проверить статус всегда можно в Яндекс.Вебмастере: он показывает, какие страницы в индексе, какие исключены и по какой причине.
04Почему индексация важна для бизнеса
Можно вложиться в красивый сайт и хорошие тексты, но если страницы не в индексе, органического трафика из поиска не будет — пользователи их просто не увидят. Поэтому контроль индексации — это фундамент SEO-продвижения: сначала добиваемся, чтобы все нужные страницы попали в поиск, и только потом работаем над их позициями.
На практике за индексацией нужно следить постоянно: при добавлении новых разделов, переезде сайта, смене структуры или CMS часть страниц может выпасть из индекса. Регулярный технический аудит помогает поймать такие проблемы заранее.
Следим, чтобы сайт был в поиске
В рамках SEO мы настраиваем sitemap и robots.txt, подключаем Яндекс.Вебмастер, проверяем индексацию ключевых страниц и устраняем причины, по которым они выпадают из поиска. Это база, без которой продвижение не работает.
Официальная документация по теме — Справка Яндекс.Вебмастера.