Сайт без index.html и robots.txt: типичные ошибки новичков и их исправление

При создании первого сайта по учебнику «Веб-дизайн для начинающих» многие сталкиваются с путаницей: главная страница названа не index.html, а по-другому, а файл robots.txt и вовсе отсутствует. Разберём, как это влияет на SEO и что делать на этапе локальной разработки.

Почему index.html - это стандарт для главной страницы

Веб-серверы (Apache, Nginx) по умолчанию ищут файл index.html (или index.php) в корневой папке сайта. Если его нет, при переходе по домену пользователь увидит либо ошибку 403/404, либо список файлов (если разрешён листинг). Для SEO критично, чтобы главная страница открывалась по корневому URL (site.ru), а не по site.ru/glavnaya.html.

Ошибка: главная страница названа как домен

В учебнике могла быть рекомендация: «назовите главную страницу так же, как ваш домен». Это неверная трактовка. Имя файла не должно повторять домен - оно должно быть index.html. Пример: если ваш домен example.ru, файл главной страницы - example/index.html, а не example/example.html. Иначе поисковики не смогут корректно проиндексировать корень сайта.

Как исправить на локальном ПК (Windows)

• Переименуйте текущий файл главной страницы в index.html.
• Убедитесь, что в корневой папке проекта нет других index-файлов (index.htm, default.html).
• Проверьте локальный сервер (Open Server, XAMPP, WAMP) - он должен открывать index.html при обращении к localhost.

Зачем нужен robots.txt и как его создать

Файл robots.txt указывает поисковым роботам, какие страницы можно сканировать, а какие - нет. Даже на локальном этапе его стоит создать, чтобы привыкнуть к правильной структуре. Для сайта-визитки или блога достаточно базовых правил.

Пример содержимого robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /tmp/

Поместите этот файл в корневую папку рядом с index.html. На локальном сервере он не повлияет на работу, но подготовит проект к публикации.

Что делать, если хостинг ещё не куплен

Пока вы работаете локально, отсутствие index.html и robots.txt - не критично. Главное - исправить структуру сейчас, чтобы после покупки домена и хостинга не пришлось переделывать всё заново. Рекомендуем:

• Привести главную страницу к имени index.html.
• Создать robots.txt с минимальными директивами.
• Проверить, что все внутренние ссылки ведут на правильные URL (например, /about.html, а не /about.html).

Частые вопросы по настройке index.html и robots.txt

Ниже собраны ответы на вопросы, которые чаще всего задают начинающие веб-мастера.