Как поисковик вообще находит ваш сайт
Самое частое заблуждение звучит так: «сайт готов, значит, он в поиске». Между этими двумя событиями лежат три отдельных шага, и на каждом можно застрять. Разберём их — дальше весь курс опирается на эту картинку.
Библиотека, куда никто не сдавал книги
Представьте библиотеку, в которую никто ничего не приносит. Вместо этого библиотекарь сам ходит по городу, заглядывает в каждый дом, находит книги, читает их, составляет карточку на каждую и раскладывает карточки в картотеку. Когда приходит читатель и спрашивает «что-нибудь про выращивание помидоров», библиотекарь не бежит искать по домам — он идёт в свою картотеку и выдаёт десяток лучших карточек.
Поисковик устроен ровно так. Ваш сайт — это дом с книгами. Пока библиотекарь до него не дошёл, не прочитал и не завёл карточку, читатель ваши книги не увидит. Никогда. Сколько бы вы их ни написали.
Шаг 1. Обход: робот приходит в гости
Поисковый робот — программа, которая ходит по сайтам и скачивает страницы. У Google он называется Googlebot, у Яндекса — робот Яндекса. Вы его никогда не увидите, но в статистике сайта его видно.
Те же слова: краулер, паук, бот, спайдер. Всё это он.
Робот не получает от вас приглашения. Он находит новые страницы тремя путями: идёт по ссылкам с уже известных ему сайтов, читает карту сайта (специальный файл со списком адресов — о нём в уроке 4), и возвращается на страницы, где раньше уже был, чтобы проверить, не изменились ли они.
Отсюда следует неприятная вещь: если на ваш сайт вообще никто не ссылается и вы нигде о нём не сообщили — робот может не узнать о его существовании годами. Новый сайт, который просто «выложили в интернет», для поисковика не существует.
«Google не платят за то, чтобы ранжировать страницы выше, — ранжирование выполняется программно».Google Search Central, Как работает Google Поиск
Шаг 2. Индексирование: страницу заносят в картотеку
Робот скачал страницу — дальше поисковик пытается понять, о чём она. Разбирает текст, картинки, видео, заголовки. Определяет язык и регион. Проверяет, нет ли на сайте двух почти одинаковых страниц, и если есть — выбирает одну главную. Результат этой работы попадает в индекс.
Индекс — гигантская база данных поисковика, где хранится всё, что он знает о страницах интернета. Это и есть та самая картотека. Поиск ищет не по интернету, а по своему индексу.
И вот ключевой момент, который стоит запомнить дословно.
«Индексирование не гарантировано: не каждая страница, которую Google обрабатывает, будет проиндексирована».Google Search Central, Как работает Google Поиск
Робот может прийти, посмотреть и уйти, не взяв страницу в базу. Причины называются прямо: слишком низкое качество содержимого, техническая инструкция на самой странице «не индексируй меня», или сайт устроен так, что робот не смог его нормально прочитать. У Яндекса есть ещё жёсткое ограничение по размеру: документы больше 10 МБ не индексируются вообще.
Шаг 3. Ранжирование: кто окажется выше
Человек вводит запрос. Поисковик за доли секунды находит в индексе тысячи подходящих страниц и должен решить, в каком порядке их показать. Это и есть ранжирование.
Учитывается очень многое: насколько страница отвечает именно на этот запрос, насколько ей можно доверять, откуда человек ищет, с телефона или с компьютера, на каком языке. Точную формулу не знает никто за пределами Яндекса и Google — и это нормально, иначе её немедленно начали бы обманывать.
«Есть 200 факторов ранжирования, и если знать список — можно выйти в топ».
Списки «факторов» гуляют по интернету годами, но ни Яндекс, ни Google их не публиковали. Это реконструкции и догадки. Работать надо не по списку, а по здравому смыслу: сделать страницу, которая действительно лучше отвечает на вопрос, чем те, что сейчас наверху.
Что из этого следует практически
Когда в следующий раз вам скажут «сайт не в поиске», первый вопрос — на каком из трёх шагов он застрял? Это три совершенно разные проблемы с разными решениями:
| Симптом | Где застряли | Куда копать |
|---|---|---|
| Поисковик не знает про сайт совсем | Шаг 1, обход | Добавить сайт в Вебмастер и Search Console, сделать карту сайта (урок 4) |
| Робот заходил, но страниц в поиске нет | Шаг 2, индексирование | Проверить запреты индексации и качество содержимого (уроки 3 и 4) |
| Страницы в поиске есть, но их не видно | Шаг 3, ранжирование | Работать над соответствием запросу и репутацией (уроки 2, 3, 5) |
Узнайте, знает ли поисковик о вашем сайте
Есть простой способ заглянуть в картотеку. Он работает и в Яндексе, и в Google.
- Откройте поиск и введите:
site:вашсайт.ру— без пробела после двоеточия, вместо «вашсайт.ру» ваш адрес. - Нажмите поиск. Вы увидите страницы вашего сайта, которые есть в индексе.
- Посмотрите на примерное количество результатов. Ноль — сайта в индексе нет вообще. Одна-две страницы при сотне на сайте — большая часть не проиндексирована.
- Повторите то же самое в другом поисковике. Цифры почти всегда разные — это нормально, это две разные картотеки.
Отметьте, что сделали:
Не паникуйте. Для нового сайта это обычное дело: роботу нужно время, иногда несколько недель. В уроке 7 вы подключите Вебмастер и Search Console и сможете сообщить поисковикам о себе напрямую, а не ждать у моря погоды.
Сайт сделали месяц назад. По запросу site:вашсайт.ру Яндекс не показывает ничего. Что это значит?
Что означает фраза «поиск ищет не по интернету, а по своему индексу»?
Между «сайт существует» и «сайт находят» три шага: робот пришёл → страницу
занесли в базу → базу отсортировали по вашему запросу. Индексирование
не гарантировано. Проверить, где вы находитесь, можно за десять секунд запросом
site:.
Отметка хранится только в вашем браузере. Никакой регистрации.
Источники
- Как работает Google Поиск — Google Search Central. Три этапа, оговорка про негарантированное индексирование.
- Как работает поиск Яндекса — Яндекс Вебмастер. Этапы обхода и индексирования, ограничение 10 МБ.
- Рекомендации по индексированию — Яндекс Вебмастер.