Генератор robots.txt
Создайте текст robots.txt с директивами User-agent, Disallow, Sitemap и Crawl-delay.
Запустить инструмент
Генератор robots.txt помогает подготовить текстовые директивы для настройки обхода сайта поисковыми роботами. Выберите значение User-agent, разрешите обход всех путей или задайте запрещённые пути, а при необходимости добавьте адрес карты сайта и Crawl-delay. User-agent по умолчанию равен *, а настройка разрешения всех путей включена. При отключённом разрешении каждый непустой путь из отдельной строки превращается в директиву Disallow; если таких путей нет, добавляется Disallow: /. Непустые значения Sitemap URL и Crawl-delay включаются в результат отдельными строками. Проверьте итоговый текст перед размещением на сайте: инструмент вставляет введённые значения и не подтверждает их корректность или действие у конкретного поискового робота.
Инструкция
- Оставьте User-agent равным * для директивы, адресованной всем роботам, или укажите нужное значение.
- Оставьте «Разрешить всё» включённым, если нужен пустой Disallow, либо отключите его для задания запретных путей.
- Введите каждый путь в поле «Запрещённые пути» с новой строки. Пустые строки будут пропущены.
- При отключённом разрешении всех путей и отсутствии непустого пути результат содержит Disallow: /.
- Добавьте непустой Sitemap URL и Crawl-delay, если эти строки нужны в итоговом тексте.
- Скопируйте сформированный текст и самостоятельно проверьте его перед размещением в robots.txt.
Примеры
- Для сайта example.ru укажите User-agent как *, оставьте параметр «Разрешить всё» включённым и добавьте адрес карты сайта в поле Sitemap URL. Инструмент сформирует текст с пустой директивой Disallow и строкой Sitemap.
- Чтобы запретить обход разделов /admin и /private, отключите «Разрешить всё» и введите пути с новой строки. Если не указать ни одного непустого пути, результат будет содержать Disallow: /.
Частые вопросы
Что создаёт этот инструмент?
Инструмент формирует текст robots.txt с указанным User-agent и заданными директивами доступа. Полученный текст нужно самостоятельно разместить и применить на нужном сайте.
Как разрешить обход всех путей?
Да. Если параметр «Разрешить всё» включён, результат содержит пустую директиву Disallow. Это значение используется по умолчанию.
Как указать несколько запрещённых путей?
Введите каждый путь с новой строки. Пустые строки игнорируются, а перед добавлением в результат пробелы по краям каждой строки удаляются.
Что произойдёт без запрещённых путей?
Если «Разрешить всё» отключено, но подходящий непустой путь не указан, инструмент добавляет директиву Disallow для корня сайта: /.
Можно ли добавить карту сайта?
Да. Если в поле Sitemap URL есть непустой текст, он добавляется отдельной строкой Sitemap. Инструмент вставляет переданное значение и не заявляет о его проверке.