Инструменты
Проверка robots.txt
Одна строка в robots.txt может закрыть весь сайт от поиска. Проверяем синтаксис, конфликты и доступность sitemap.
Без регистрации · проверка по 3 точкам · не сохраняем адрес
Что показывает проверка
| Параметр | Что это значит |
|---|---|
| Доступность | Отдаётся ли robots.txt и с каким кодом. |
| Синтаксис | Ошибки в директивах и путях. |
| Директивы | Что закрыто: Disallow, Allow, Crawl-delay. |
| Sitemap | Указан ли и доступен ли. |
| Host | Устаревшая директива для Яндекса. |
Как читать результат
- Disallow: / — весь сайт закрыт от индексации, скорее всего ошибка.
- Нет Sitemap — добавьте, это ускоряет обход.
- Crawl-delay — замедляет обход, используйте только при необходимости.
Частые вопросы
robots.txt запрещает индексацию?
Нет, он запрещает обход. Для индексации нужен noindex.
Почему robots.txt важен для SEO?
Ошибка может обнулить трафик из поиска за несколько дней.
Можно ли мониторить robots.txt?
Да: контроль содержания страницы на /robots.txt с проверкой ключевых директив.