Вы запустили сайт, набрали в Яндексе название компании — а вас нет. Ни главной страницы, ни каталога. Сайт работает, а для поиска его как будто не существует.
Скорее всего, сайт еще не проиндексирован. Индексация — это добавление страниц сайта в базу поисковой системы. Пока страницы нет в этой базе, ее не найдут, как бы хорошо она ни была сделана.
Ниже — как работает индексация, как проверить, какие страницы уже в поиске, как ускорить индексацию и почему сайт может не индексироваться.
Что такое индексация сайта
Индексация сайта, или веб-индексация, — это процесс поиска, сбора, обработки и хранения информации о страницах сайта в базе поисковой системы. Эту базу называют поисковым индексом.
Проще всего представить справочник вроде 2ГИС. Пока вашу организацию не внесли в справочник, ее там не найдут, даже если офис стоит на главной улице. С поиском то же самое: Яндекс и Google ищут не по всему интернету в момент запроса, а по своему индексу — заранее собранной копии страниц.
Отсюда простое правило: страница, которой нет в индексе, не может появиться в поиске. Ни по названию компании, ни по самому точному запросу.
Как работает индексация сайта
Индексацией занимаются поисковые роботы — программы, которые ходят по интернету от ссылки к ссылке. Их еще называют краулерами или пауками. У Яндекса это YandexBot, у Google — Googlebot.
Путь страницы в поиск
Обнаружение
робот узнает об адресе страницы
Сканирование
загружает страницу и ее код
Обработка
разбирает текст, заголовки, ссылки
Индекс
сохраняет страницу в базу
- Обнаружение. Робот узнает о странице: по ссылке с другой страницы, из карты сайта или потому что вы сами сообщили о ней.
- Сканирование. Загружает страницу так же, как браузер, — текст, код, иногда скрипты.
- Обработка. Разбирает, о чем страница: заголовки, текст, картинки, ссылки. Решает, не дубль ли это и стоит ли страница места в индексе.
- Сохранение в индекс. Если все в порядке, страница попадает в базу и может показываться в поиске.
Важно: попасть в индекс — не значит попасть в топ. Индексация лишь дает странице право участвовать в поиске. А на каком месте ее покажут, решает ранжирование — по совсем другим правилам.
И еще одна деталь: в индекс попадают не все страницы. Поисковики сами решают, что хранить. Пустые страницы, дубли, служебные разделы и страницы, которые никто не ищет, могут остаться за бортом, даже если робот их видел.
Индексация сайта в Яндексе и Google
Принцип у двух поисковиков один, а инструменты и способы ускорения отличаются.
| Задача | Яндекс и Google |
|---|---|
| Кабинет вебмастера | Яндекс Вебмастер и Google Search Console |
| Сообщить о странице | Яндекс: «Переобход страниц». Google: «Проверка URL» → «Запросить индексирование» |
| Автоматические уведомления | Яндекс: протокол IndexNow. Google: общего API для всех сайтов нет |
| Карта сайта | Оба принимают sitemap.xml |
| Дополнительно | Яндекс умеет находить страницы по счетчику Метрики |
IndexNow — протокол, через который сайт сам сообщает поисковику о новых, измененных или удаленных страницах. Яндекс его поддерживает. Google официально протокол не использует.
У Google есть Indexing API, но по правилам он предназначен только для страниц с вакансиями и прямыми трансляциями. Для обычного сайта Google полагается на карту сайта и собственный обход.
Как проверить индексацию сайта
Есть три способа — от быстрого и примерного до точного.
| Способ | Что покажет |
|---|---|
Оператор site: в поиске |
Примерный список страниц в индексе. Число результатов приблизительное |
| Яндекс Вебмастер → «Индексирование» → «Страницы в поиске» | Точный список страниц в поиске Яндекса, добавленные и исключенные |
| Google Search Console → «Индексирование страниц» | Сколько страниц в индексе Google и почему остальные не попали |
Оператор site: — самый быстрый способ. Наберите в Яндексе или Google site:ваш-сайт.ru и посмотрите, сколько результатов. Если видна только главная — индексация только началась. Но число результатов здесь приблизительное, для решений его мало.
Яндекс Вебмастер и Google Search Console — бесплатные кабинеты, где поисковики сами рассказывают, что видят на вашем сайте. Если вы еще не добавили в них сайт, сделайте это первым делом: без них вы работаете вслепую.
Проверка отдельной страницы. В обоих кабинетах есть инструмент проверки конкретного адреса. Он покажет, есть ли страница в индексе, когда робот был на ней последний раз и, если страницы нет, — почему.
Как ускорить индексацию сайта
Возьмем пример. Мебельная мастерская запустила новый сайт на 30 страниц: каталог, примеры работ, цены, контакты. Через неделю в поиске только главная. Вот что я бы сделал по порядку:
- Добавить сайт в Яндекс Вебмастер и Google Search Console. Подтвердить права — это первый сигнал поисковикам, что сайт существует.
- Отправить карту сайта. Файл sitemap.xml со списком всех страниц, которые должны быть в поиске. Большинство движков и конструкторов создают его автоматически — нужно только указать адрес в обоих кабинетах.
- Включить обход по счетчику Метрики. В Вебмастере есть настройка, при которой Яндекс узнает о страницах, которые посещают люди. Для нового сайта это быстрый способ показать роботу все разделы.
- Подключить IndexNow. Тогда сайт будет сам сообщать Яндексу о каждой новой или измененной странице. Для популярных движков есть готовые плагины.
- Отправить на переобход самые важные страницы. В Яндексе — «Индексирование» → «Переобход страниц», в Google — «Проверка URL» → «Запросить индексирование». У обоих есть дневной лимит, поэтому тратьте его на главную, каталог и ключевые услуги.
- Проверить внутренние ссылки. На каждую важную страницу должна вести ссылка из меню или с других страниц. Страницу-сироту, на которую не ведет ни одна ссылка, робот может не найти никогда.
- Получить несколько внешних ссылок. Карточка в Яндекс Бизнесе и 2ГИС, профиль на отраслевых площадках, соцсети. Ссылки с известных сайтов приводят роботов быстрее.
Сколько ждать? Google называет срок от нескольких дней до нескольких недель и не гарантирует, что страница вообще попадет в поиск. Поисковики в первую очередь индексируют страницы, которые считают полезными.
Почему сайт не индексируется
Если прошло больше месяца, а страниц в поиске нет, проверьте причины в таком порядке — от самых частых:
- Запрет в robots.txt. Строка
Disallow: /запрещает роботам обходить весь сайт. Ее часто ставят на время разработки и забывают убрать после запуска. - Метатег noindex. Тег
<meta name="robots" content="noindex">прямо говорит поисковику не добавлять страницу в индекс. На конструкторах он включается галочкой «запретить индексацию» в настройках. - Ошибки сервера. Если сайт отвечает ошибкой 5xx или долго грузится, робот уходит ни с чем. Ответ сервера видно в инструментах проверки URL.
- Дубли. Одна и та же страница доступна по нескольким адресам — с www и без, со слешем и без, с метками. Поисковик выберет один вариант, а остальные исключит.
- Мало пользы. Пустые страницы, шаблонные карточки без описания, тексты, скопированные с других сайтов. Яндекс в таких случаях пишет в Вебмастере, что страница малоценная или маловостребованная.
- Контент только в JavaScript. Если текст появляется на странице только после выполнения скриптов, роботу может быть сложно его увидеть.
- Нет ссылок на сайт. Новый домен, о котором нигде не упоминается, роботы находят медленно.
Причину почти всегда подсказывают сами кабинеты: в Search Console — в отчете «Индексирование страниц», в Яндекс Вебмастере — в разделе «Страницы в поиске» у исключенных страниц.
Как закрыть страницы от индексации
Иногда страницы, наоборот, нужно убрать из поиска: корзину, личный кабинет, страницы фильтров, тестовые разделы. Для этого есть два инструмента, и их часто путают.
| Инструмент | Что делает |
|---|---|
| robots.txt | Запрещает роботу обходить страницы. Но страница может остаться в индексе, если на нее ведут ссылки |
| Метатег noindex | Разрешает роботу зайти, но запрещает добавлять страницу в индекс |
Google прямо предупреждает, что robots.txt не способ убрать страницу из поиска. Отсюда частая ошибка: чтобы убрать уже проиндексированную страницу, ее закрывают в robots.txt. Робот перестает на нее заходить и поэтому не видит noindex — и страница висит в поиске дальше. Чтобы страница точно ушла из индекса, роботу нужно разрешить зайти и увидеть noindex.
Мой итог
Индексация — первый и обязательный шаг SEO. Пока страница не в индексе, тексты, ссылки и оптимизация не работают.
Если сайт новый: добавьте его в Яндекс Вебмастер и Google Search Console, отправьте карту сайта, подключите IndexNow и обход по Метрике, а важные страницы отправьте на переобход. Через две-три недели проверьте отчеты. Если каких-то страниц все еще нет — кабинеты подскажут причину.
Если сайт не появляется в поиске и непонятно почему, или нужно навести порядок с дублями и закрытыми разделами, — с этим я помогаю: техническое SEO и продвижение.
