15 августа 2019
Нравится статья?
График

Понравится и работать с нами.

Начать

Индексация сайта в поисковых системах – это то, без чего SEO продвижение невозможно. Если страниц вашего сайта нет в индексе, они не выводятся в поисковой выдаче, а значит, в конкуренции за верхние позиции вы пока не участвуете, и пользователи из поиска не могут перейти к вам.

Разбираемся, как Яндекс и Google индексируют сайты, можно ли ускорить и проконтролировать процесс и каким страницам индексация не нужна.

Что такое индексация и как она происходит

Поисковые системы по запросу выдают пользователям подходящие страницы за пару секунд. Естественно, в это время роботы не перебирают реальные сайты – такой поиск тянулся бы часами. Для ускорения поисковики обращаются к собственной, заранее собранной базе данных. Эта база – и есть индекс.

Поисковики индексируют сайт автоматически, с помощью поисковых роботов – их называют пауками или краулерами. Упрощенно это выглядит так:

  • Пауки постоянно отслеживают новые сайты и страницы в интернете.
  • Попав на сайт, робот сканирует его. Если в корневой папке лежит правильно заполненный файл robots.txt (а мы настоятельно советуем его прописать и поместить туда), краулер быстрее поймет, какие страницы нужно индексировать, а какие – нет.
  • На каждой странице робот в автоматическом режиме оценивает важнейшие элементы, от которых зависит позиция при ранжировании (ключевые запросы, текст, структуру, метатеги и пр.).
  • Проиндексированные страницы передаются в базу данных. В каждый визит робот обрабатывает не так много страниц, до 30 штук, чтобы не перегружать ваш сервер.
  • После индексации сайта страницы начинают отображаться в выдаче, ведь теперь поисковая система знает о них.
  • В дальнейшем робот продолжает посещать ваш сайт, чтобы просканировать и добавить в базу новые страницы. Также поисковики могут удалять страницы из индекса, обнаружив на них технические ошибки. Если вы ежедневно публикуете контент, робот может заходить к вам несколько раз в день, а если сайт долго остается без изменений, то и поисковики будут реже обращать на него внимание (до 3 раз в месяц).
Индексация сайта в Яндексе сразу после запуска может занять до 1 месяца, а в Гугл – до 1 недели.

Как быстрее попасть в индекс

Для успешного продвижения в Яндексе и Google важно, чтобы новые страницы как можно скорее попадали в индекс и начинали ранжироваться. Поэтому советуем использовать возможности для ускоренной индексации сайта.

Как привлечь внимание поисковиков и быстрее занять место в выдаче:

  1. Обязательно составить служебный файл robots.txt и карту сайта Sitemap в помощь поисковым ботам.
  2. Войти в панели управления Google Search Console и «Яндекс.Вебмастер» и оставить заявку на индексацию конкретных страниц.
  3. Обеспечить надежность и скорость работы сайта – робот при обнаружении проблем на сайте снижает частоту обхода.
  4. Позаботиться о качественных внешних ссылках, которые добавят вам «веса» и повысят шансы на быструю индексацию сайта по ключевым словам.
  5. Регулярно добавлять новые страницы и публиковать свежие материалы – тогда поисковики будут чаще обращать внимание на ваш ресурс. Обязательно добавлять новые материалы в «Оригинальные тексты» в Яндекс.Вебмастере.
  6. Оптимизировать сайт в плане удобства для пользователей – юзабилити. В первую очередь, важны понятный каталог и система навигации, сеть перекрестных внутренних ссылок (перелинковка) – всё, что ускоряет перемещение бота по вашему сайту и помогает ему проиндексировать больше страниц за один раз.
Кстати, быстро индексировать страницы нужно не только новым сайтам. Если вы обновили цены или описания в каталоге, прописали привлекательные метатеги Description или загрузили в блог горячую новость, вам тоже важно, чтобы индексацию не пришлось ждать месяцами.

Как проверить индексацию сайта

В первые недели после запуска нового сайта важно проверить, попали ли нужные страницы в индекс поисковых систем и сколько вообще страниц проиндексировано. Но и в дальнейшем советуем держать руку на пульсе.

Вот основные способы проверить индексацию сайта в поисковых системах:

  1. Вручную через брендовые запросы
  2. Вводим в строке поиска название компании и просматриваем первую пару страниц выдачи. Способ самый простой, без технических сложностей, но не быстрый и не очень удобный.

  3. Через оператор site в поисковой строке
  4. Чуть сложнее, но точнее: вбиваем в поиске Яндекса или Гугл оператор site, а после него – адрес сайта.

    В результатах поиска будут только проиндексированные страницы заданного сайта

    Например, наберем URL zamkitut.ru для проверки индексации сайта. В результатах поиска будут только проиндексированные страницы заданного сайта, и ничего не придется выбирать вручную.
  5. В Яндекс.Вебмастере или Search Console в Гугл
  6. Способ для тех, у кого есть доступ к панели вебмастера. В Гугл нужно открыть вкладку «Индекс Google» и выбрать «Статус индексирования», а в Яндекс.Вебмастере развернуть меню «Индексирование сайта», а затем «Страницы в поиске». Здесь можно посмотреть не только текущее количество страниц в индексе, но и динамику.

  7. Автоматически с помощью плагинов, скриптов или специальных сервисов

Сервисы и программы – быстрый и надежный способ проверить индексацию сайта онлайн. Не вручную вбивать запросы: небольшие программы для проверки обычно можно сохранить в браузере, как закладки, и запускать при необходимости.

Советуем попробовать плагин RDS bar для разных браузеров, а также программы наподобие Netpeak Spider или Netpeak Checker.

рабочее окно Netpeak Spider

Так выглядит рабочее окно Netpeak Spider: программа выдает много дополнительной информации, помимо количества страниц в индексе.

3 и 4 способ – самые информативные и удобные, мы советуем мониторить индексацию по ходу продвижения сайта именно так. В специальной программе или на панели вебмастера вы увидите, когда последний раз Яндекс индексировал сайт, какие именно страницы попали в индекс, какие проблемы выявили поисковики и т.д.

Почему сайт не индексируется и как это исправить

Иногда с индексацией возникают проблемы: сайт целиком или отдельные страницы перестают выводиться в поисковой выдаче. Почему Яндекс не индексирует сайт и как это исправить:

  1. Прошло недостаточно времени. Если сайт или группа страниц появились недавно, поисковой робот мог просто не успеть их проиндексировать – используйте наши приемы ускорения из списка выше.
  2. Неправильно заполнен файл robots.txt. Лучше доверить работу с этим служебным файлом программистам, потому что случайная ошибка в нем может запретить индексировать сайт без вашего ведома.
  3. Критичные для поисковиков ошибки на сайте – их важно находить и вовремя исправлять.
  4. Нет карты сайта (SiteMap). Обязательно пропишите ее и добавьте в корневую папку – карта поможет ускорить индексацию сайта.
  5. На сайте есть дубли страниц или контент, полностью скопированный с других ресурсов – такие страницы принципиально не индексируются.
  6. Сервер работает с перебоями. Если сайт периодически недоступен или загружается слишком медленно, могут быть проблемы с индексацией, так что есть смысл переехать на более надежный хостинг.

Как закрыть сайт от индексации и когда это нужно

Иногда бывает нужно запретить индексацию сайта или отдельных страниц.

Зачем это делается:

  1. Чтобы в выдачу не попадали служебные страницы сайта: личный кабинет пользователя, корзина, панель управления и прочее.
  2. Чтобы поисковой робот быстрее добрался до целевых страниц и проиндексировал их, а не тратил время на малозначительный контент, который не нужно продвигать.
  3. Чтобы в индекс не попали дубли страниц (поисковики это не любят).

Пример страницы, которую нужно закрыть от индексации

Пример страницы, которую нужно закрыть от индексации – корзина в интернет-магазине дверной фурнитуры.

Основные способы «спрятать» ненужные страницы или разделы от поисковиков:

  1. В файле robots.txt закрыть сайт от индексации позволяет директива Disallow – она прописывается рядом с адресами страниц, которые не должны попасть в выдачу.
  2. В коде страницы можно использовать тег «noindex» – он закрывает от индексации не ссылки, а только часть текста, заключенную внутри тега.
  3. Важно: «noindex» считывает и понимает только Яндекс. Для управления индексацией в Google применяйте другие способы из этого списка.

  4. Атрибут rel=«nofollow» – применяется к конкретной ссылке и указывает поисковым роботам, что по ней не нужно переходить. Этот атрибут понимают все поисковики.
  5. Мета-тег robots – он дает поисковым системам указания насчет индексации. Если в содержимом этого мета-тега прописать «noindex, nofollow», страница не будет индексироваться.
Мы в «Эврике» контролируем индексацию сайтов, которые разрабатываем, запускаем и продвигаем в поисковиках. Нашим клиентам не приходится вникать в технические детали, ведь для этого в команде проекта есть все необходимые специалисты.
Продвижение сайтов в "Эврике"
Технологии, кейсы, стоимость
Поделитесь с друзьями
Комментарии (0)
Оставьте комментарий
Подписаться
Отзывы клиентов
  • Замки тут
    Фурнитура для дверей
    Компания вышла на новый этап в интернет направлении

    ООО «Замки Тут» в лице Соболевской Ирины Петровны выражает благодарность коллективу ООО «Эврика» за продуктивное и долгосрочное сотрудничество. Во время этого сотрудничества наша компания вышла на новый этап в интернет направлении, в чем, безусловно, есть заслуга «Эврики». Было выполнено очень много разнообразных задач, которые помогли нам убедиться в компетенции этой организации. Другими словами ребята подходят к процессу с полной отдачей и креативностью. Все эти плюсы в совокупности привели к росту продаж, а это один из главных факторов…

    Читать полностью
  • Солнышко
    Медицинские товары
    Мы благодарны компании «Эврика» за профессиональный подход

    Сотрудничаем несколько лет, полностью удовлетворены достигнутыми результатами за этот период и оперативной, «человеческой» схемой взаимодействия с нами со стороны нашего менеджера Ирины.

    Читать полностью
  • Клиника Горбакова
    Многопрофильная клиника
    Результатами мы довольны

    Раньше я платил за клики, не представляя, что клики и звонки – разные вещи. Работа с системой Calltouch поразила меня тем, насколько можно увеличить количество звонков. Не кликов, а именно звонков, уменьшив при этом расходы с помощью достаточно простых манипуляций. Результат впечатляющий.

    Читать полностью
  • Мир наград
    Магазин наград
    Благодаря "Эврике" не закрыл магазин

    Я доволен своим интернет-магазином и уверен, что он полностью удовлетворяет запросы моих дорогих покупателей! Понравилось отношение ко мне и моему проекту, очень дружелюбное, и некоторые нюансы (правки по сайту, консультации по непонятной мне теме) проходят быстро, гладко, без нервов и без ударов по карману.

    Читать полностью
  • ЕвроТэк
    Аэродромная техника
    Рекомендуем!

    Компания "ЕвроТэк" благодарит компанию "Эврика" за оказанные услуги и быстрый отклик на любую проблему. За период работы сайт eurotech-group.ru поднялся в ТОП по отрасли.

    Читать полностью
Оставьте заявку
Нажимая на кнопку Отправить, я даю согласие на обработку персональных данных
Или просто
Позвоните
Напишите
sales@aevrika.ru
Приезжайте

Москва, ул. Народного Ополчения, д. 34, стр. 1