Индексация сайта

После создания сайта следующим важным шагом является его поисковое продвижение, но, перед тем как начать раскрутку, необходимо добиться хорошей индексации всех его страниц в поисковых системах. По сути, ничего сложного в этом нет, но, большинство начинающих вебмастеров интересуют ответы на несколько вопросов, которые мы и рассмотрим далее в этой статье.

Как добавить сайт в поисковики

Основные системы Рунета способны найти сайт сразу после запуска, даже если на него практически нет внешних ссылок. Но, возможность уведомить о появлении своего веб-ресурса вручную все же остается, и нею легко можно воспользоваться.

Чтобы добавить сайт в Яндекс, нужно перейти на специальную страницу «Сообщить о новом сайте». Вот как выглядит сама форма:
 

Добавить сайт в Google можно аналогичным способом, а форма для сообщения о новом веб-ресурсе находиться по этой ссылке. Чтобы исключить автоматический сабмит со стороны ботов, под полем “URL” находиться каптча:
 

На странице можно прочитать, что никаких гарантий относительно времени попадания в поиск никто не дает, но относительно самой индексации Google обещает ее в обязательном порядке.

Индексация сайта в Яндексе и Google

По сути, кардинальных отличий в механизме как таковом нет, но все же они присутствуют. В частности, стоит отметить, что общемировой лидер индексирует сайты гораздо быстрее, а главный рунетовский поисковик в этом плане более медлительный.

Тем не менее, эта разница нивелируется в случае регулярного и частого обновления сайта качественным контентом – тогда поисковые роботы обеих поисковых систем заходят на ресурс гораздо чаще, особенно если речь идет о новостных ресурсах.

Проверка индексации сайта

Для сайта, который уже находиться в поиске, данная процедура нужна больше в качестве способа мониторинга ситуации. Также, специалистом она может использоваться для сравнения количества страниц в индексе основных поисковиков, чтобы обнаружить возможные проблемы в плане продвижения.

Проверка индексации сайта осуществляется с помощью специальных сервисов, в качестве примера можно привести PR-CY.RU:
 

Как ускорить индексацию сайта

В большинстве случаев это требуется сделать по отношению к отдельным страницам, особенно если на них размещена важная информация. Также, иногда, речь идет о серьезных изменениях на сайте в целом, когда учета изменений со стороны поисковых систем требуется добиться незамедлительно.

Ускорить индексацию сайта можно путем простановки на требуемую страницу качественных внешних ссылок, а также привлечения социальных сигналов. Это если речь идет об отдельной странице, а если говорить о сайте в целом, то добиться регулярного и более частого захода робота, можно путем регулярного добавления уникального контента.

Как закрыть сайт от индексации

В некоторых случаях требуется запретить поисковым роботам показывать страницы сайта в выдаче, и сделать это довольно просто. Запретить индексацию сайта можно в robots.txt, просто прописав такую строчку:
 

Таким образом, вы можете запретить поисковым роботом включать любую из страниц вашего сайта в свой индекс.

Для чего это может понадобиться? Например, в случае отладки сайта на хостинге перед запуском, или в случае проведения серьезных изменений/доработки. В процессе работы попадание технических страниц или недоработанного варианта будет явно нежелательно.

Надеемся, этот краткий обзор основных моментов относительно индексации сайта, будет для вас полезным.