Правильный robots.txt и sitemap.xml для сайта

robots.txt и sitemap.xml — два файла, которые напрямую влияют на индексацию. Если их нет или они настроены неправильно, поисковики либо вообще не увидят сайт, либо проиндексируют мусор. Разберём, как настроить правильно.

Что такое robots.txt

Это текстовый файл в корне сайта. Отвечает на вопрос: «Что можно обходить поисковым ботам, а что нельзя».

Формат — директивы:

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /logs/
Sitemap: https://site.ru/sitemap.xml

Как это работает

User-agent: * — правила для всех ботов
Allow: / — разрешить всё (по умолчанию)
Disallow: /admin/ — запретить обход папки
Sitemap: ... — где лежит карта сайта

Что обязательно Disallow

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /logs/
Disallow: /backups/
Disallow: /cache/
Disallow: /includes/
Disallow: /migrations/
Disallow: /vendor/
Sitemap: https://site.ru/sitemap.xml

Эти папки не должны попадать в индекс. В них нет контента для пользователей — только служебные файлы.

Частые ошибки

1. Disallow: /

Запрещает весь сайт. Поисковики не увидят ничего. Проверь, что перед `/` нет опечатки.

2. Забыли Sitemap

Без указания карты поисковики будут искать вручную, медленнее.

3. Закрыли полезное

Например, Disallow: /blog/ — и весь блог пропадёт из выдачи.

4. Домен в другой зоне

Файл robots.txt работает только на том домене, где лежит. На поддомене нужен свой.

Что такое sitemap.xml

XML-файл со списком всех URL сайта. Помогает поисковикам быстрее обойти страницы и найти новые.

Формат:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://site.ru/</loc>
    <lastmod>2026-09-18</lastmod>
    <changefreq>weekly</changefreq>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://site.ru/blog/</loc>
    <lastmod>2026-09-18</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.9</priority>
  </url>
</urlset>

Лучше — динамический sitemap

Статический файл надо обновлять руками. Как только появилась новая статья — переделывать.

Правильно — генерировать sitemap.php на лету. В нём:

Главная
Все страницы (about, contact, privacy)
Архивы типов контента (/blog/, /docs/)
Все опубликованные статьи
Все страницы блога (category, tag)

Плюс — с актуальным lastmod (дата последнего изменения).

Как проверить

Открой https://site.ru/robots.txt — виден как текст
Открой https://site.ru/sitemap.xml — валидный XML
Зайди в Яндекс.Вебмастер → Индексирование → Файлы Sitemap
Добавь ссылку на sitemap.xml
Проверь, что нет ошибок

Ещё моменты

Clean-param в robots.txt — можно указать параметры, которые не создают новых страниц (например, UTM-метки)
Host в robots.txt — устаревшая директива, работает только в Яндексе. Сейчас не нужна
Disallow для админ-бота — не надо, у тебя админка за логином

Что даёт правильная настройка

Сайт быстрее попадает в индекс (обычно 3-7 дней)
Новые статьи индексируются автоматически
Служебные страницы не появляются в выдаче
Краулинговый бюджет тратится на полезное, а не на мусор

Это базовые вещи, но их отсутствие — самая частая причина «мой сайт не индексируется». Перед запуском сайта всегда проверяй robots.txt и sitemap.xml.

Правильный robots.txt и sitemap.xml: полный гайд