Не все знают, что на многих сайтах есть дубли страниц, и они очень вредят. Если их много, даже есть риск получить бан от поисковых систем. Такие страницы могут накапливаться постоянно, и их число может превышать число действительно уникальных страниц с полезным контентом.

Дубли страниц и их вред

Что такое дубли страниц и откуда они появляются

По сути, это страницы, которые имеют разные адреса – ссылки, но контент на них одинаковый. Это бывает в таких случаях:

  • Страницы создаются с www и без www в адресе.
  • Страницы имеют в адресе http и https. Например, http://site.ru и https://site.ru
  • Страницы имеют в ссылке слэши. Например, https://site.ru/top и https://site.ru//top
  • Страницы с различными UTM-метками, которые используются для статистики.
  • Страницы со строчными и прописными буквами в ссылке. Например, https://site.ru/top и https://site.ru/TOP
  • Страницы с добавленными к ссылке цифрами. Например, https://site.ru.top/999
  • Ссылки на разные комментарии, которые расположены на одной странице.

Таким образом, одна уникальная страница может иметь сотни вариантов ссылок, которые по сути имеют один и тот же контент. Но так как ссылки разные, то поисковики их все индексируют одинаково. Это очень плохо.

Такая проблема существует для многих популярных CMS, на которых строятся сайты, особенно для WordPress. Образуются они автоматически, если CMS просто установили «как есть», и не настроили должным образом, чтобы исключить появление дубликатов страниц. При этом против каждого типа дублей нужно предпринять разные действия – некоторые закрыть от индексации, на других настроить переадресацию и т.д.

Что такое частичные дубликаты

В таком случае дублируется не вся страница, а только часть её контента. Например, в случае интернет-магазина часть описания и картинка есть как на странице товара, так и в витрине, в карточке товара. Для блога или статейного сайта тоже самое – часть текста выводится на странице категории, а полный текст – на основной странице со статьёй.

Части текста, обычно из его начала, могут дублироваться на множестве страниц в результате использования разных меток, рубрик, фильтров – везде, где выводится карточка товара или статьи.

Бороться с этим можно написанием уникального текста для карточек, но это решает проблему только частично – ведь и эти карточки с уникальным текстом тоже повторяются во множестве мест. Поэтому эффективнее закрывать от индексации такие страницы – категории, метки, результаты поиска по фильтрам и прочие подобные. Оставлять для индексации стоит только страницы – оригиналы – товары или публикации.

Какой вред могут нанести дубли страниц

Как уже говорилось, каждая копия страницы имеет собственный адрес, поэтому поисковики их все индексируют. Но так как все они имеют одинаковый или несильно отличающийся контент, то это порождает массу страниц под одинаковые запросы. В итоге позиции сайта в поисковой выдаче начинают «гулять» — то понижаться, то повышаться. В конце концов поисковики значительно понизят позиции, а могут и вовсе наложить бан на весь сайт с большим количеством дублей.

Так что такие дубликаты – зло для продвижения сайта, и об этом знают все, кто занимается SEO-продвижением. С ними нужно бороться, чтобы в поиске оставались только единственные страницы с оригинальным контентом.

Как найти дубли страниц

Первый, и самый простой способ – воспользоваться поисковиками. В поиске Яндекса или Google нужно вписать site:домен и посмотреть на список всех проиндексированных страниц, которые выдадут поисковики. Иногда там можно обнаружить и дубли.

Другой способ – вручную просматривать разные страницы сайта и обращать внимание на ссылки, переходить по ним и смотреть, какая страница при этом открывается и какую ссылку она имеет. Так, если перейти по ссылке с датой комментария в WordPress, можно тут же обнаружить дубликаты.

Еще один способ – воспользоваться специальной программой – парсером. Есть и бесплатные версии, например, Frog SEO Spider.

Как бороться с дублями страниц

На самом деле для неподготовленного человека удаление дублей – очень сложное дело. Существует несколько методов решения проблемы, и их нужно применить все, для удаления дубликатов разного типа:

  • Запретить индексацию некоторых страниц в файле robots.txt.
  • Настроить 301 редирект, или перенаправление, с дублей на оригинальные страницы.
  • Настроить саму CMS, чтобы некоторые типы дублей вообще не появлялись. Для каждой CMS существуют свои методы.

Если вы не обладаете достаточными знаниями, чтобы выявить и удалить различные типы дублей, то лучше обратитесь к специалисту. Он выполнит эту работу быстро, и вы не потеряете месяцы, за которые позиции сайта значительно ухудшатся. Потому что дубли страниц – это мина замедленного действия, которая может обнулять все ваши труды по продвижению сайта.

Рубрики: Блог