Генератор robots.txt
Закройте служебные разделы, добавьте sitemap, настройте правила для Google и Яндекса. Всё в браузере — файл не отправляется на сервер.
Данные не сохраняются. Файл генерируется прямо в браузере.
Основное
Sitemap помогает поисковикам быстрее находить новые страницы.
С 2018 Яндекс не требует. Оставьте пустым для современных сайтов.
Задержка между запросами. Google и Яндекс игнорируют, Bing учитывает.
Закрыть разделы
Отметьте, что не должно попасть в индекс поисковиков.
Дополнительные Disallow
По одному пути на строку. Например: /privacy/, /*?s=
Clean-param (Яндекс)
Параметры, которые не меняют содержимое страницы — Яндекс не будет дублировать URL.
User-agent для Googlebot
Отдельные правила для Google (например, если нужно разрешить то, что закрыто для всех).
Особые режимы
Превью
# Начните заполнять поля — файл появится здесьrobots.txt
# Заполните настройки слева — файл появится здесьКуда положить файл
Скачайте robots.txt и положите в корень сайта, чтобы он открывался по адресу https://ваш-сайт.ru/robots.txt. Не в подпапку.