Как найти дубли страниц на сайте и убрать их

Дублированный контент на сайте является одним из негативных моментов, которые могут существенно препятствовать его продвижению. Поисковые системы могут по-разному отнестись к ним, здесь есть несколько вариантов:

• дубликаты страниц сайта попадут в индекс, но получат очень низкие позиции, а значит, по целевым запросам не будет трафика;
• дубли страниц не будут проиндексированы ни одной из поисковых систем, на индексацию и посещаемость сайта в целом это не повлияет;
• дубликаты страниц в большом количестве в сочетании с другими факторами могут привести к наложению фильтров и пессимизации сайта как со стороны Яндекса, так и Google;
• ухудшение индексации поисковыми роботами и размывание релевантности по сайту.

Причин появления дублированного контента на сайте может быть немало, начиная от особенностей движка и заканчивая преднамеренным его созданием со стороны вебмастера. В любом случае это проблема, а значит, от нее необходимо избавляться.

Как проверить и удалить дубли?

Поиск копий страниц можно осуществлять несколькими способами, но я не вижу смысла описывать все, поэтому мы рассмотрим только те из них, которые являются наиболее эффективными в плане результата и затрат времени.

Первый способ – найти дубликаты страниц при помощи Google Webmaster Tools. Для этого добавьте в эту панель свой сайт и, авторизовавшись под своими учетными данными, перейдите во вкладку меню «Вид в поиске», выберите здесь пункт «Оптимизация HTML». Страницы с повторяющимся заголовком и description можно найти в графе «Повторяющееся метаописание»:
}

Соответственно, получив список копий, можно внести необходимые изменения для устранения проблемы.

Второй способ определить дубли страниц сайта – бесплатная программа Xenu, специально разработанная для облегчения и автоматизации работы оптимизаторов:
 

Скачать ее можно на официальном сайте, после чего нужно запустить сканирование вашего веб-проекта. Отсортировав результаты по заголовку, можно найти и исправить совпадения. Получается удобно и быстро, с минимальным количеством ручной работы.

Как видите, в этом нет ничего сложного, и проверка вашего сайта на дубли страниц не займет много времени. При этом, устранив подобные ошибки, можно быть уверенным, что в техническом плане ничто не будет мешать продвижению сайта в поисковых системах.