Редирект robots.txt при переезде домена: пошаговая инструкция

При смене домена важно перенаправить все страницы старого сайта на новый, включая служебные файлы, такие как robots.txt. Неправильный редирект может привести к потере трафика и неправильной индексации. В этой статье разберём, как настроить 301 редирект для robots.txt и других файлов, а также типичные ошибки.

Почему редирект для robots.txt важен?

Файл robots.txt управляет доступом поисковых роботов к разделам сайта. Если при переезде он не перенаправляется, роботы могут продолжать сканировать старый домен, что приведёт к дублям и снижению ранжирования. Правильный 301 редирект гарантирует, что все запросы к старому файлу будут автоматически направлены на новый адрес.

Распространённые ошибки при настройке

Многие вебмастера пытаются использовать Redirect 301 /was.php www.site.ru/new.php, но это правило не срабатывает для файла robots.txt по нескольким причинам:

• Неверный синтаксис - директива Redirect в Apache требует указания полного URL без лишних символов.
• Путь не соответствует - если старый файл называется robots.txt, а в правиле прописан /was.php, редирект не произойдёт.
• Конфликт с другими правилами - модуль mod_alias может переопределяться более приоритетными директивами RewriteRule.

Как правильно настроить редирект robots.txt

Для Apache (.htaccess)

Используйте следующий код в корневом .htaccess:

Redirect 301 /robots.txt https://новый-домен.com/robots.txt

Если у вас включён mod_rewrite, альтернативный вариант:

RewriteEngine On
RewriteRule ^robots\.txt$ https://новый-домен.com/robots.txt [R=301,L]

Для Nginx

В файле конфигурации сервера добавьте:

location = /robots.txt {
    return 301 https://новый-домен.com/robots.txt;
}

Проверка и устранение проблем

После внесения изменений выполните проверку:

• Откройте в браузере старый-домен.com/robots.txt - вы должны быть перенаправлены на новый адрес.
• Используйте сервисы вроде Redirect Checker, чтобы убедиться, что статус ответа - 301.
• Если редирект не срабатывает, проверьте, не блокируется ли он плагинами кеширования или файрволом.

Редирект для других файлов при переезде

Аналогично можно настроить перенаправление для sitemap.xml, favicon.ico и других статических файлов. Например:

Redirect 301 /sitemap.xml https://новый-домен.com/sitemap.xml

Не забывайте обновлять ссылки в Google Search Console и указывать новый адрес в инструменте «Смена адреса».