Почему Google индексирует далеко не всё
Одна из самых устойчивых ошибок в SEO заключается в довольно простой логике: если Googlebot увидел страницу, значит Google её проиндексирует. На практике между этими событиями нет знака равенства. Страница может быть доступна для обхода, Googlebot может регулярно на неё заходить, URL может появляться в логах сервера, Google может знать о существовании документа месяцами, и при этом страницы не будет в поисковом индексе. Для человека со стороны это выглядит как техническая проблема. Для поисковой системы это вполне нормальное решение.
Обход и индексирование это разные процессы
Когда Google обнаруживает URL, начинается не один процесс, а несколько последовательных этапов. Сначала поисковая система должна узнать о существовании адреса. Источником может быть внутренняя ссылка, sitemap, внешняя ссылка, редирект или уже известная структура сайта. Затем URL может попасть в очередь на обход, после чего Googlebot получает документ.
Дальше поисковой системе ещё нужно обработать содержимое, понять основную версию страницы, оценить возможное дублирование, определить canonical, извлечь текст и ссылки, сопоставить документ с другими известными страницами. И только потом возникает главный вопрос: нужен ли этот документ в индексе? Именно здесь многие владельцы сайтов начинают искать несуществующую техническую ошибку.
Crawl не означает index
Я часто смотрю на индексирование именно через это различие. Crawl отвечает на вопрос: Google получил страницу? Index отвечает на другой вопрос: Google решил сохранить её как поисковый документ? Это принципиально разные вещи.
Можно создать технически безупречную страницу. Она будет отдавать 200 OK, иметь self canonical, присутствовать в sitemap, быть доступной для Googlebot и получать внутренние ссылки. Но всё это ещё не создаёт обязанности для Google включить её в индекс. Техническая доступность является условием, но не гарантией.
Почему поисковой системе вообще приходится выбирать
Интернет слишком велик, чтобы относиться ко всем URL одинаково. Каждый день появляются новые страницы, фильтры, параметры, архивы, копии, автоматически созданные документы, почти одинаковые карточки, программные SEO страницы и бесконечные комбинации URL. Поэтому поисковая система постоянно решает не только задачу обнаружения. Она решает задачу отбора.
Представим сайт, который создал 50 000 страниц под города. На каждой меняется название населённого пункта, несколько чисел и пара предложений. С точки зрения CMS это 50 000 документов. С точки зрения поисковой системы вопрос может звучать иначе: есть ли здесь действительно 50 000 самостоятельных страниц? Количество URL на сервере и количество документов, достойных отдельного представления в поиске, это не одно и то же.
Самый интересный случай: Google знает страницу, но не индексирует её
Для меня это одна из самых полезных ситуаций для анализа. Здесь уже недостаточно сказать, что Google не нашёл URL. Нашёл. Недостаточно сказать, что Googlebot не может открыть страницу. Может. Недостаточно ещё раз отправить sitemap. URL уже известен. Значит, проблема может находиться на другом уровне.
Я обычно начинаю смотреть на несколько вещей.
1. Самостоятельность документа. Есть ли у страницы собственная причина существовать? Не для владельца сайта, не для генератора страниц и не для SEO структуры, а для поисковой системы. Если убрать URL, title и название города, останется ли документ отличимым от соседних страниц? Это довольно неприятный вопрос для многих масштабных SEO проектов, но полезный.
2. Внутренняя связность. Страница может присутствовать в sitemap и фактически жить отдельно от сайта. Для поисковой системы внутренняя структура является одним из способов понять относительную важность документа. Если на URL почти никто не ссылается внутри проекта, он находится глубоко, не включён в нормальную навигационную модель и существует главным образом в XML файле, это уже повод внимательнее изучить архитектуру. Sitemap сообщает о существовании страницы. Архитектура сайта помогает понять её место.
3. Дублирование смысла. Дублирование не всегда означает буквально одинаковый текст. Две страницы могут содержать разные предложения и при этом решать одну и ту же задачу почти одинаковым способом. Это особенно заметно на больших программных сайтах. Текст формально уникален, но документы функционально взаимозаменяемы. Простая проверка уникальности текста такую проблему может вообще не показать.
4. Общая ценность участка сайта. Я бы не рассматривал каждый URL в полной изоляции. Если в определённой директории находится большое количество слабых, повторяющихся или малополезных документов, имеет смысл анализировать не одну исключённую страницу, а весь участок сайта. Не обязательно искать здесь какой то мистический штраф. Гораздо полезнее думать о том, как система распределяет обход, обработку и внимание между большими группами документов.
5. Изменение документа после первого обнаружения. Есть страницы, которые Google обнаруживает слишком рано. Например, URL появляется в структуре, когда на нём ещё почти нет содержания. Позже страница становится полноценной, но первое слабое состояние уже было обработано системой. Это не означает, что судьба URL решена навсегда, но такой сценарий полезно учитывать при диагностике.
Почему Request Indexing не решает фундаментальную проблему
У SEO специалистов есть почти ритуальное действие. Страница не индексируется, открывается Search Console, нажимается запрос на индексирование, через некоторое время действие повторяется. Иногда это действительно помогает ускорить повторную обработку URL. Но сама кнопка не отвечает на главный вопрос: почему поисковая система должна хранить этот документ?
Если причина исключения страницы связана с её слабой самостоятельностью, дублированием, архитектурой или общей моделью сайта, повторная отправка URL не меняет свойства документа. Она лишь снова предлагает системе посмотреть на него.
Индексирование я бы рассматривал как решение системы
Мне кажется полезным отказаться от представления, что индекс Google это склад, куда страницы попадают после технической проверки. Скорее это постоянно пересматриваемая модель документов. Google обнаруживает URL, получает содержимое, сопоставляет его с другими документами, определяет основную версию, оценивает место страницы в структуре сайта и среди уже известных материалов. После этого система принимает решение о хранении и потенциальном использовании документа.
Причём это решение не обязательно окончательное. Страница может появиться в индексе, исчезнуть, вернуться, сменить canonical, начать индексироваться после изменения внутренней структуры или оставаться известной Google, но не получать устойчивой поисковой видимости.
Index и visibility тоже не одно и то же
Есть ещё одна ошибка, которая встречается почти так же часто. Если страница находится в индексе, значит она должна получать показы. Нет. Индексирование лишь означает, что документ может участвовать в дальнейших поисковых процессах. Видимость зависит уже от другого набора условий: соответствия запросу, конкуренции, понимания интента, качества документа, сигналов сайта, контекста, языка, географии и множества других факторов.
Поэтому полезно разделять как минимум три состояния: Google обнаружил страницу, Google включил страницу в индекс, Google показывает страницу пользователям. Между каждым из этих состояний находится отдельная система решений.
Что я проверяю, когда страница не индексируется
Мой порядок обычно довольно простой. Сначала я исключаю технические причины: статус ответа, robots, canonical, доступность документа, редиректы, рендеринг. Потом смотрю на обнаружение: откуда Google вообще знает URL, есть ли нормальные внутренние ссылки, насколько глубоко находится страница.
После этого начинается более интересная часть. Я сравниваю документ с соседними страницами, смотрю, существует ли у него собственная поисковая задача, проверяю, не является ли уникальность чисто текстовой, изучаю весь кластер URL, а не одну страницу. Смотрю, какие документы Google выбирает, а какие систематически игнорирует. И только после этого меняю сайт.
Потому что иногда проблема действительно находится в canonical. А иногда canonical идеален, sitemap идеален, сервер отвечает быстро, Googlebot приходит регулярно. Просто наблюдаемое поведение системы указывает на то, что технической доступности документа оказалось недостаточно для устойчивого присутствия в индексе.
Вместо вывода
Чем дольше я работаю с поиском, тем меньше воспринимаю индексирование как бинарную техническую функцию. Для меня это скорее наблюдаемое решение сложной системы. Поэтому вопрос «почему Google не индексирует страницу?» часто слишком узкий.
Гораздо полезнее спросить: что именно Google увидел в этом документе, с чем его сравнил и почему отдельное место в индексе могло оказаться для него необязательным?