Сегодня рассмотрим подробно самый важный процесс, без которого остальные процессы SEO-продвижения не работают. Мы поговорим об индексации, принципах её работы, важности, отличиях в Google и Яндекс. Также расскажем, как проиндексировать сайт любого размера и улучшить его качество.
Индексация сайта и почему она так важна
Как работает поисковая система?
Чтобы понять, что такое индексация, нужно сначала разобраться, как работают поисковые системы и почему их можно считать библиотеками Интернета.
Поисковая система — это множество серверов, на которых хранятся структурированные данные о миллионах, а возможно и миллиардах документов в Интернете. То есть когда мы запрашиваем какую-либо информацию в Google или Яндексе, мы ищем не по самому интернету, а по их поисковой базе.
Чтобы документ попал в эту базу, он должен быть известен поисковому роботу (краулер — от англ. crawler, бот, паук). Робот узнаёт о новых сайтах и страницах следующими способами:
- внешние и внутренние ссылки,
- собственные браузеры (Google Chrome, Яндекс Браузер),
- тулбары, или панели инструментов,
- собственные инструменты (поговорим о них ниже),
- карта сайта (sitemap).
Когда поисковой робот узнал о новом документе, он заносит его в расписание проверок и затем, если документ доступен для обхода, робот выкачивает преимущественно текстовую информацию (этот процесс ещё называют краулингом) и передаёт индексирующему роботу. После этого документ, сайт или страница могут участвовать в поиске.
Как проверить индексацию сайта. Годится ли оператор «site:» для проверки индексации?
Почему мы говорим о документе? Потому что робот умеет индексировать не только HTML-страницы, но и другие форматы (справка Яндекса и Google).

Что такое индексация?
Попробуем дать собственное определение этому понятию. Индексация сайта — это процесс получения, обработки, структуризации и хранения преимущественно текстовой информации о страницах сайта в поисковой базе. О получении этой информации мы уже рассказали. Под обработкой подразумеваем, что информация каждой страницы собрана и очищена от лишнего (картинки и графика, HTML-теги и т.д.). Но важнее всего остановиться на структуризации данных.
Вся полученная текстовая информация делится на отдельные слова, которые группируются в алфавитном порядке. Эти слова приводятся к их начальной форме. Алгоритмы каждой поисковой системы разнятся, поэтому мы не можем точно знать обо всех тонкостях процесса, но сам процесс называется машинной морфологией. К начальным формам слов робот добавляет адрес страницы и количество упоминаний на ней.
Почему так важна индексация?
Ответ прост: чем больше ваших страниц в поисковой базе (проиндексированы), тем больше возможностей для показа в поисковой выдаче. Выражаясь ещё проще, если вы в базе, вас могут найти.
Конечно, всё, что мы здесь описали, значительно упрощено для понимания, а некоторые тонкости и нюансы опущены. Например, логичен вопрос: вы говорите о возможностях, но не говорите о гарантиях показа. Дело в том, что индексация не гарантирует показ страниц вашего сайта, ведь после неё каждый раз включается процесс ранжирования документов по каждому отдельному запросу.
Как проверить индексацию сайта в поисковых системах?
Ранжирование — это распределение страниц, имеющихся в поисковой базе, в порядке приоритета и релевантности для запросов пользователей. Если проще, то документы ваших конкурентов могут быть качественнее и релевантнее (более подходящими) по мнению поисковой системы, чем ваши. Поэтому даже если страницы вашего сайта будут находиться в индексе, не факт, что они будут показываться в поиске. А если и будут, то нет гарантий, что на 1–2 странице.
Тезис: чем больше страниц сайта проиндексированы, тем больше шансов получить трафик.
Что может мешать индексации?
Самая главная причина — робот не знает о наличии страницы либо сайта. Как мы обозначили выше, у краулера ограничены способы нахождения новых страниц. Учитывайте это и используйте все доступные меры:
- Добавьте свой сайт во все инструменты Яндекса и Google.
- Создайте и обновляйте карту сайта (sitemap.xml).
- Используйте родные браузеры поисковиков.
- Делайте ссылки со старых страниц на новые.
- Разумно используйте возможности внешних ссылок.
Помешать индексации могут следующие причины:
Нюанс №1: для Яндекс robots.txt — важный документ, а для Google рекомендательный. То есть, если робот сочтёт страницу полезной для пользователей, он будет игнорировать запреты в файле. Для запрета индексации страницы в Гугле лучше использовать метатег robots или HTTP-заголовок X-Robots-Tag.
Нюанс №2: 3xx-редирект и атрибут rel=canonical не запрещают индексацию страницы напрямую, но указывают, что она вторична, в отличие от страницы редиректа или канонической.
Нюанс №3: указание канонической страницы не всегда спасает владельца сайта, так как Google может по своему усмотрению выбирать канонические страницы и игнорировать атрибут rel=canonical.
Краулинговый бюджет
Количество новых документов в Интернете постоянно растёт, а технологические мощности поисковых гигантов всё же ограничены. Поэтому робот решает, сколько страниц одного сайта будет индексировать за раз. Это и называют краулинговым бюджетом.
Он зависит от количества и качества страниц, частоты их обновления, типа самого сайта (маркетплейс, новостник, небольшой сайт), популярности и авторитетности ресурса. Важно отметить, что краулинговый бюджет — это не постоянная величина, и он может изменяться.
Напрямую управлять как индексированием, так и бюджетом сканирования вы не можете, но способствовать этим процессам точно можно. Об этом подробнее поговорим в разделе «Как управлять индексацией».
Индексация сайта в Google и Яндекс
Принципы индексации у этих поисковых систем преимущественно одинаковые: краулинг → очистка → индексация → ранжирование. Но различия можно найти, поэтому расскажем о тех, которые известны.
Индексация в Google
Самое главное отличие — Google лучше ориентируется в англоязычном сегменте, то есть лучше воспринимает текст и запрос пользователя на английском. Разница на момент 2020, думается, незначительная, но учитывать стоит.
У Гугла 2 основных типа роботов: для мобильных сайтов и для десктопных. Новые сайты индексируются мобильными роботами и приоритет отдан мобильным версиям сайта, согласно алгоритму mobile-first индекс.
Скорость индексации обычно выше, чем у Яндекса: на 1 страницу уходит неделя или меньше. Индекс обновляется постоянно, а некачественные страницы не удаляются из него, но при этом и не показываются пользователям.
Индексация в Яндексе
У Яндекса тоже 2 типа роботов: основной и быстрый (Orange). Основной робот занимается индексацией всего интернета, а быстрый отвечает за поиск самых свежих документов, чтобы информация была доступна как можно быстрее (от нескольких минут до пары секунд).
Обновление индекса происходит раз в несколько дней ночью, когда нагрузки на серверы меньше. Процесс индексирования сайта обычно занимает от недели до месяца, а некачественные страницы удаляются из индекса.
Как проверить индексацию?
Уточним сразу пару моментов. Индексацию нужно проверять как в Google, так и в Яндексе. Более того, вы должны знать изначальное количество страниц на сайте. Это можно сделать с помощью краулеров типа Xenu, Screaming Frog, Netpeak Spider и других.

Как проверить индексацию:
- Инструменты Яндекс Вебмастер и Google Search Console. В Вебмастере это Индексирование → Страницы поиска (отдельные страницы смотрите в инструменте «Проверить статус URL»). В Search Console откройте отчёт Покрытие → Страницы без ошибок (индексацию отдельных страниц ищите в Проверке URL).
- Используйте оператор site. В поисковой строке Яндекса и Google введите site:name.com, где name — домен сайта. Под строкой поиска справа будет указано количество проиндексированных страниц. Если разница в количестве больше 10%, у вас проблемы с индексацией.
- RDS Bar и другие сервисы. RDS Bar — это бесплатный плагин для браузера. В нём вы узнаете не только количество проиндексированных страниц, но и получите другую полезную информацию. Также автор статьи советует воспользоваться сервисом a.pr-cy. Он позволяет провести хороший первичный аудит сайта и уже в самом начале выявить основные проблемы.
Индексация сайта в поиске
Теперь, когда мы рассказали, что такое индексация, почему она так важна и как её проверить, приступим к практике.
Как ускорить индексацию?
Проверка индексации сайта в поисковых системах
Индексация сайта — задача поисковых роботов, заключающаяся в поиске, обработке и добавлении в базу документов. После сканирования содержимое страниц принимает участие в поиске и ранжируется по определенным ключевым запросам. Интернет можно сравнить с огромной библиотекой. В каждой библиотеке есть каталог, основная задача которого — обеспечить удобство поиска информации.
В середине 90-х годов XX века весь процесс индексации сводился к подобной каталогизации. Поисковые роботы сканировали сайты и структурировали информацию по ключевым словам в общую базу данных (БД). Сейчас принцип индексации изменился — боты находят и анализируют информацию по определенным показателям (уникальность, читабельность, полезность и так далее.) и только потом материалы попадают в базу и показываются пользователям. Алгоритмы Гугл и Яндекс постоянно меняются и становятся все совершеннее. БД переполнены информацией, среди которой роботы определяют самые качественные материалы и присваивают высокие позиции.
Особенности индексации в ПС Яндекс и Google
- Добавить сайт в «Яндекс.Вебмастер» и Google Webmasters. После чего робот обязательно посетит ресурс и вскоре его страницы проиндексируются.
- Проставить внешние ссылки на сайт с других ресурсов — страницы, которые были найдены таким способом, считаются полезными. Робот переходит по ним, передает вашему сайту определенный вес, одновременно индексируя его страницы.
В среднем на сканирование новых сайтов уходит от одной до двух недель. Но вебмастера отмечают, что индексация в Google быстрее. Все потому, что роботы сканируют все страницы: и качественные, и не очень. Но в поиск попадают только полезные материалы.
Пауки Яндекса работают в этом плане медленнее, но недостаточно качественные страницы не участвуют в поиске, так как их анализ происходит прямо на этапе индексирования.
Как индексируется сайт:
- поисковый бот заходит и анализирует контент;
- содержимое добавляется в БД;
- через некоторое время (до 2-х недель) проиндексированный документ участвует в поиске.
Анализ индексации своего сайта
Мониторить индексацию сайта — одна из ключевых SEO-работ. Существует несколько простых способов: «Яндекс.Вебмастер» и Google Webmasters.
Это самый простой способ убедиться прошла ли индексация страниц.
Яндекс.Вебмастер
- Добавьте сайт в сервис (привязка к почте).
- Откройте «Индексирование сайта» — «Страницы в поиске».

Так можно проверить насколько быстро новые страницы попадают в выдачу Яндекса.

- Добавьте проект в сервис для вебмастеров Google.
- Перейдите во вкладку «Индекс» — «Покрытие».
Как проверить вручную

Для этой цели нужно воспользоваться оператором ПС «site». Чтобы проверить индексацию, вбейте в строку Гугл или Яндекс следующее: «site:URL сайта».
Как проверить количество проиндексированных страниц в Яндекс и Google?
Если тебе, мой друг, кажется, что поисковик незаслуженно обходит твои странички вниманием, знай, что я, когда начинал работать над своим сайтом, сидел без трафика почти полгода. Публиковал записи и не понимал, почему же их никто не читает. Только немного поднаторев в SEO, я понял, что «собака зарыта» в Sitemap, который у меня находился в состоянии хаоса.
Тебе я советую не унывать и не переживать преждевременно по поводу того, что ты бесталанный писатель и никудышный блогер. Давай начнём анализ с технических проблем – а если точнее, определим, находятся ли вообще странички твоего ресурса в индексе. Я по секрету расскажу тебе о нескольких способах сделать это бесплатно.
- 1 Как проверить индексацию страницы в «Яндексе»?
- 2 Проверка страницы в Google
- 3 Проверка индексации онлайн с помощью сторонних сервисов
- 4 Как узнать, сколько страниц проиндексировано?
- 5 Подводим итоги
Как проверить индексацию страницы в «Яндексе»?
Начнём с «Яндекса», поскольку русскоязычный поисковик должен быть в приоритете в большинстве случаев – за исключением, скажем, тех, когда вы продвигаете услуги для иностранцев. Есть 2 простых способа анализа:
- Через «Яндекс.Вебмастер».
- Через спецоператор поисковой системы.
Первый, безусловно, проще – если твой сайт уже добавлен в «Яндекс.Вебмастер». Если нет, рекомендую не медлить с этим.
В самом «Вебмастере» нужно проследовать по пути «Индексирование» — «Проверить статус URL».

На экране появится такое поле:

Вбиваем в него URL и кликаем на «Проверить».

Результат появляется на экране в течение пары секунд. Если пишут, как на скрине выше – мол, обходится и находится в поиске – значит, уже проиндексировано. Справа две полезные кнопки: «Подробнее» и «Отслеживать». С помощью кнопки «Подробнее» можно посмотреть, когда поисковик в последний раз заходил на страницу.
Чтобы поисковик не тратил краулинговый бюджет зазря и не нагружал сервер попусту, рекомендую настроить на сайте заголовки Last-Modified. Тогда ПС будет переобходить только те страницы, которые были изменены. О том, как правильно настроить заголовки Last-Modified и If-Modified-Since, я рассказывал в этой статье.
Назначение кнопки «Отслеживать» ясно. С ее помощью можно контролировать состояние важных страниц – например, коммерческой, с наивысшим процентом лидогенерации. Если отслеживаемая страничка вдруг выпадет из индекса, на почту придёт оповещение об этом.
Второй способ – через оператор поисковой системы. Им можешь воспользоваться, если сайт в «Вебмастер» еще не добавил. В случае с «Яндекс» это оператор URL. Просто вбей в поисковую строку запрос в формате URL:. Например:
url:https://kovalev-copyright.ru/
Если поисковик ответит, что «нашёлся 1 результат» — бинго! Значит, страница в индексе.

Если же ответом будет «По вашему запросу ничего не нашлось», это значит, что робот еще здесь не ходил.
Проверка страницы в Google
В Гугл все примерно то же самое – только «Яндекс.Вебмастер» заменяем на Google Search Console, а спецоператор URL – на… другой (не будем бежать впереди лошадей).
В Search Console проверить индексацию страницы можно при помощи вкладки «Проверка URL» в меню слева.

На экране должна появиться примерно такая информация:

Обратите внимание: 3 зеленые галочки не являются гарантией того, что все идеально. В блоке «Покрытие», в частности, указано, что страница проиндексирована, но не добавлена в Sitemap. Это сигнал – стоит «маякнуть» программистам, чтобы разобрались, почему страницы не добавляются в Сайтмап автоматически при публикации.
Проверка через поисковую строку и специальный оператор в Google тоже доступна, однако в 2019 году она претерпела изменения.
В марте 2019 года Google упразднил спецоператор info, с помощью которого производилась проверка индексации страницы. Причина – им никто не пользовался.
Сейчас для этой цели можно задействовать оператор INURL. Вообще этот оператор позволяет вывести в SERP все URL, содержащие определенное слово (например, Apple). Но если его использовать в сочетании с URL статьи, результат в выдаче, понятное дело, будет один.

Правда, если проверять, скажем, сводную страницу рубрики, в выдаче по понятным причинам появятся все странички, которые входят в эту рубрику. А если главную – вообще все страницы сайта.
Проверка индексации онлайн с помощью сторонних сервисов
Ладно, разобрались с тем, как проверить URL единственной страницы через поисковую строку или панели «Вебмастера» и «Серч Консоль». Но что делать, если таких URL куча и требуется пакетное решение? Ответ – прибегнуть к одному из сторонних сервисов. Вот список тех, которыми я лично пользовался:
- Raskruty.ru (лимит – 10 url).
- «Проверка индексации, возраста и даты кэша в Яндексе» от Pixel Plus (лимит — 50 url).
- Сервис от BE1 (лимит – 50 url).
- Серпхант (лимит – 100 url).
Когда я был молодым и глупым, юзал примитивный Raskruty.ru. Тогда он ещё стабильно «чекал» индексацию в Google. Но сейчас у него и двух следующих сервисов есть катастрофический общий недостаток: они проверяют только в «Яндекс».
С «Серпхант» я познакомился позже и, честно говоря, при знакомстве испытал дикий восторг. Скажу сразу, что ребята мне не платят, и заметьте: я здесь нигде не воткнул их партнёрскую ссылку. Просто они делают действительно эффективные SEO-инструменты. Это касается и инструмента анализа индексирования – считаю его лучшим по ряду причин:
- Проверяет и в Google, и в «Яндекс».
- Лимит в 100 УРЛов, когда у аналогов – максимум 50.
- Имеет привлекательный, не допотопный (как у Raskruty) интерфейс.
Вот так выглядит итоговый отчет на «Серпхант»:

С помощью «Серпхант» можно также совершенно бесплатно проверить позиции сайта или частотность запросов. Категорически рекомендую к использованию!
Как узнать, сколько страниц проиндексировано?
Если же тебя интересует не статус какой-то конкретной страницы, а общее количество проиндексированных страниц сайта, ты также сможешь получить эту информацию, задействовав магию собственные навыки обращения с «Яндекс.Вебмастер» и Google Search Console.
В «Вебмастере» долго копаться не придётся. Количество проиндексированных страниц — прямо в сводке.

В Search Console нужно найти пункт «Покрытие» в разделе «Индекс» и кликнуть на него. Во вкладке «Страница без ошибок» (выделена зеленым) будет отображаться количество проиндексированных страниц.

Если у тебя нет возможности обратиться к «Вебмастеру» и Search Console (либо просто лень вводить пароли), воспользуйся одним из альтернативных способов: проверь через спецоператор или сторонний сервис.
Проверка индексации сайта в обоих ПС производится с использованием оператора site. После оператора ставится двоеточие, потом адрес самого сайта – как на примере ниже:

На моем сайте найдено 209 проиндексированных страниц.
В Google это работает точно так же – только количество проиндексированных страниц выводится под поисковой строкой.

Если разница в количестве проиндексированных страниц в двух поисковых системах составляет 30% и более, это повод провести технический аудит сайта и разобраться, не попадает ли в индекс одной из ПС что-то лишнее.
Массовая проверка индексации сайта с применением стороннего сервиса – предпочтительный для меня метод. Я проверяю индексацию с помощью программы a.pr-cy.ru. Хотя я не большой фанат этого сервиса, вынужден признать, что даже бесплатный отчет, который он даёт, позволяет узнать много чего интересного о сайте. Информация об индексировании размещена в блоке «Индексация».

Подводим итоги
Зная спецоператоры поисковых систем, можно проверить индексацию сайта, даже не имея доступов к его «Вебмастеру» и Search Console. Достаточно запомнить 3 комбинации:
- URL – проверить индексацию страницы в «Яндекс».
- INURL – проверить индексацию страницы в Google.
- SITE – проверить общее количество проиндексированных страниц (актуально для обоих поисковиков).
Не стоит обходить вниманием и сторонние сервисы, которые способны выполнить подобные операции бесплатно. Например, «Серпхант» делает пакетную проверку в обоих ПС (до 100 адресов за раз), а PR-CY точно определяет количество проиндексированных страниц на сайте. Грех не воспользоваться таким альтруизмом!
Часто ли ты проверяешь индексацию страниц? И с какой целью? Поделись советом, какой из методов наиболее точный, в комментариях! .
Полезен ли был этот пост?
Кликни на звездочку, чтобы оценить его!
Средний рейтинг 3 / 5. Итог: 4
Еще никто не проголосовал :((
Источник: kovalev-copyright.ru
