Оптимизация sitemap.xml: как избавиться от дублей страниц в WordPress

После смены темы WordPress многие владельцы магазинов сталкиваются с проблемой: в файл sitemap.xml попадают дубли страниц с параметрами сортировки цены, количества товаров на страницу и другими фильтрами. Это приводит к разрастанию карты сайта в 5-7 раз, утяжелению до 1.4 МБ и снижению качества индексации. Поисковые системы не любят дубли, поэтому важно быстро исправить ситуацию. В этой статье разберём два реальных варианта решения на примере хостерской приблуды и плагина Yoast SEO.

Почему sitemap.xml заполняется дублями?

Причина - в автоматической генерации URL с параметрами сортировки (например, ?orderby=price&paged=2). Хостерские инструменты часто не имеют гибких настроек исключения таких параметров. В результате поисковые пауки видят сотни одинаковых страниц с разными URL, что ухудшает ранжирование и перегружает бюджет краулинга.

Вариант 1: Переход на Yoast SEO и настройка robots.txt

Этот подход считается профессиональным. Вы отключаете хостерскую приблуду и активируете плагин Yoast SEO, который создаёт многостраничную карту сайта, разбитую по категориям, товарам, брендам. Размер sitemap.xml уменьшается до 0.25 МБ. Дополнительно в robots.txt прописываются:

• Disallow для всех пауков (Googlebot, Yandex) на страницы с параметрами сортировки;
• Clean-param для Яндекса, чтобы бот игнорировал мусорные GET-параметры.

Этот метод чистый, но требует времени на переиндексацию. Через 4 дня страницы могут не появиться в выдаче, так как Яндексу нужно перечитать новую карту.

Вариант 2: Оставить старую карту, но закрыть дубли robots.txt

Многие считают этот подход бредовым, ведь паук будет вынужден скачивать 1.4 МБ и фильтровать дубли по правилам. Однако на практике это может быть быстрее: Яндекс уже знаком с вашей картой, и ему проще применить директивы robots.txt, чем заново обрабатывать новую структуру от Yoast. Если после смены карты прошло мало времени, а страницы не появились, возможно, стоит временно вернуть старую карту.

Что выбрать: Yoast или старую карту?

Выбор зависит от приоритетов. Если вам важна чистота индекса и долгосрочная перспектива - используйте Yoast SEO с robots.txt. Если нужно быстро вернуть страницы в выдачу - оставьте старую карту, но обязательно пропишите Disallow и Clean-param. Главное - не допускать дублей в индексе, иначе поисковики могут наложить санкции.

Как ускорить индексацию после изменений?

Чтобы ускорить появление страниц в Яндексе и Google:

• Отправьте новую карту сайта в Яндекс.Вебмастер и Google Search Console;
• Используйте инструмент «Переобход» для ключевых страниц;
• Проверьте, что в robots.txt нет запрета на сканирование sitemap.xml;
• Убедитесь, что Clean-param корректно настроен для Яндекса.

Помните: поисковые системы могут переиндексировать сайт от нескольких дней до двух недель. Не паникуйте раньше времени.