Генератор robots.txt
Создайте правила индексирования для вашего сайта онлайн. Поддержка всех популярных CMS и поисковых ботов.
Шаблоны CMS
Правила
Быстрое добавление:
Дополнительно
Блокировка AI-ботов
robots.txt
User-agent: *
Disallow:User-agent
Имя поискового бота или краулера. Используйте * для применения правил ко всем ботам.
Disallow
Путь или шаблон, запрещённый для индексирования. Пример: /admin/ или *.php?*.
Allow
Явное разрешение на индексирование страницы, которая иначе была бы заблокирована. Переопределяет Disallow.
Sitemap
URL вашей карты сайта. Помогает ботам быстрее найти все страницы. Можно добавить несколько Sitemap-строк.
Crawl-delay
Минимальная задержка между запросами бота (в секундах). Поддерживается Яндексом.
Host
Предпочитаемое доменное имя для индексирования (с www или без). Поддерживается Яндексом.
Всё в браузере
Данные не загружаются
Бесплатно