Мультиязычный сайт: как настроить robots.txt и sitemap для ru и en

При разработке сайта с поддержкой нескольких языков (например, русский и английский) возникает вопрос: как правильно организовать файлы robots.txt и sitemap.xml? Нужно ли создавать отдельные файлы для каждой языковой версии или хранить всё в корне? Разберём лучшие практики и ограничения.

Где хранить robots.txt и sitemap для мультиязычного сайта?

Для SEO-оптимизации мультиязычного ресурса рекомендуется размещать robots.txt и sitemap.xml в корневой директории домена (например, domain.com/robots.txt). Это упрощает управление и индексацию. В файле robots.txt вы можете указать пути к языковым версиям, а в sitemap - перечислить все URL с учётом локализации.

Вариант 1: Единый sitemap для всех языков

Создайте один файл sitemap.xml в корне, который содержит ссылки на все страницы: domain.com/ru/... и domain.com/en/.... Для каждой страницы добавьте теги <xhtml:link rel='alternate' hreflang='ru' href='...'/> и <xhtml:link rel='alternate' hreflang='en' href='...'/>, чтобы указать Google на соответствие языковых версий. Это лучший способ избежать дублирования контента.

Вариант 2: Отдельные sitemap для каждого языка

Вы можете создать два файла: sitemap-ru.xml и sitemap-en.xml, а затем перечислить их в главном sitemap index (например, domain.com/sitemap.xml). В robots.txt укажите путь к индексу: Sitemap: https://domain.com/sitemap.xml. Этот подход удобен для больших сайтов, где удобнее разделять файлы по языкам.

Ограничения по размеру sitemap и robots.txt

Согласно стандартам, файл sitemap.xml не должен превышать 50 МБ (до распаковки) и содержать не более 50 000 URL. Если ваш сайт имеет тысячи страниц на каждом языке, и общее количество ссылок превышает лимит, используйте sitemap index - файл, который ссылается на несколько подчинённых sitemap. Для robots.txt ограничения менее строгие, но рекомендуется не превышать 500 КБ и 500 строк директив.

Рекомендации для SEO

• Укажите в robots.txt директивы Disallow для служебных страниц (например, /ru/admin/), но не блокируйте языковые версии.
• Используйте атрибут hreflang в sitemap для каждой пары страниц, чтобы поисковики понимали, какая версия предназначена для какого региона.
• Проверяйте файлы через Google Search Console или Яндекс.Вебмастер на наличие ошибок.
• Избегайте дублирования мета-тегов и контента между языковыми версиями - это вредит ранжированию.

Часто задаваемые вопросы