Поисковые системы работают в три этапа: сканирование (робот обходит интернет по ссылкам и загружает страницы), индексация (страницы обрабатываются и попадают в базу данных) и ранжирование (по запросу система выстраивает выдачу от самой релевантной страницы к менее подходящей). С 2016–2017 годов итоговое решение принимают нейросети — у Яндекса семейство YATI, у Google BERT, MUM и системы оценки полезности. Они оценивают смысл страницы и то, насколько полно она отвечает на запрос, а не плотность ключевых слов.
Кратко: как поиск находит и ранжирует страницы
Чтобы понимать, что делает SEO, полезно знать логику поиска. Упрощённо путь страницы такой: сначала её должен найти и загрузить робот (сканирование), затем система должна её понять и сохранить (индексация), и только потом она может участвовать в подборе ответа на запрос (ранжирование). Сбой на любом из этапов означает, что страница не будет приводить трафик, даже если она отличная.
Сканирование: как роботы обходят сайт
Сканирование выполняют поисковые роботы: YandexBot у Яндекса, Googlebot у Google. Они обходят интернет по ссылкам, переходя со страницы на страницу, и загружают их содержимое. На то, что и как часто обходится, влияют robots.txt, карта сайта, скорость сервера и внутренняя перелинковка.
У сканирования есть лимит — «краулинговый бюджет»: робот не обходит бесконечно, и на больших сайтах его легко растратить на дубли и мусорные URL, из-за чего важные страницы обходятся реже. Поэтому чистая структура и отсутствие дублей — это не только про порядок, но и про то, дойдёт ли робот до нужного.
Индексация: как страницы попадают в базу
После загрузки страница обрабатывается и попадает в индекс — гигантскую базу данных поисковика. Система анализирует контент: о чём страница, какие темы и сущности затрагивает, насколько уникальна и полезна. Не всё, что просканировано, попадает в индекс: тонкие, дублирующиеся и малополезные страницы могут остаться за его пределами.
Это объясняет частую ситуацию «страниц на сайте много, а в поиске их нет»: они просканированы, но не проиндексированы из-за низкого качества или дублей. Управление индексацией — важная часть технического SEO.
Ранжирование: как строится выдача
Когда пользователь вводит запрос, поисковик из проиндексированных страниц выстраивает выдачу — от самой релевантной к менее подходящей. В расчёте участвуют сотни факторов: релевантность контента запросу, авторитетность сайта, коммерческие и поведенческие сигналы, удобство, скорость, доверие. Единой «формулы» в открытом доступе нет, но принципы известны.
Важно, что для коммерческих запросов особенно значимы коммерческие и поведенческие факторы, а в чувствительных темах (медицина, финансы, право) — сигналы доверия E-E-A-T. Подробнее — в статьях поведенческие факторы и E-E-A-T.
Нейросети в поиске: YATI, BERT и оценка пользы
Ключевое изменение последних лет — переход к нейросетевому ранжированию. Яндекс применяет семейство моделей на архитектуре трансформеров (YATI и более новые), Google — BERT, MUM и системы оценки полезности контента (Helpful Content). Эти модели понимают смысл запроса и текста, а не просто совпадение слов: они «читают» страницу ближе к тому, как это делает человек.
Практический итог: набивка ключевыми словами больше не работает и даже вредит. Выигрывает контент, который действительно и полно отвечает на запрос, написан для людей и подкреплён доверием к источнику.
Персонализация: регион, устройство, история
Выдача не одинакова для всех. Она зависит от региона (для коммерческих запросов Москвы и, скажем, Казани результаты разные), устройства (mobile-first), языка и отчасти истории поведения пользователя. Поэтому «моя позиция» — понятие относительное: у разных людей и в разных городах она может отличаться.
Для локального бизнеса это особенно важно: работать нужно с региональной выдачей и картами. Подробнее — в статье локальное SEO в Москве.
Что это значит для владельца сайта
Из устройства поиска следуют простые выводы для владельца сайта: обеспечьте роботам доступ и чистую структуру (чтобы сканировали и индексировали), делайте страницы уникальными и полезными (чтобы попадали в индекс и ранжировались), пишите для людей и закрывайте интент запроса полностью (чтобы нравиться нейросетям), укрепляйте доверие и поведенческие факторы. По сути, всё SEO — это помощь поисковику найти, понять и уверенно показать ваш сайт.
Вывод
Поиск работает в три этапа — сканирование, индексация, ранжирование, — а итоговую выдачу формируют нейросети, оценивающие смысл и пользу страницы. Понимание этой логики объясняет, почему SEO — это работа над техникой, контентом и доверием одновременно. Хотите узнать, где ваш сайт «спотыкается» на этом пути? Закажите бесплатный аудит за 24 часа или посмотрите услугу продвижения.