Что такое robots.txt
Файл robots.txt — это текстовый файл в корне сайта, который подсказывает поисковикам, какие страницы можно сканировать, а какие закрыты. Он не влияет напрямую на позиции, но неправильный robots.txt может полностью исключить сайт из индекса. Google читает его при каждом обходе сайта, поэтому файл должен быть корректным.
Расположение: https://uriy-as.org/robots.txt. Пустые директивы Disallow игнорируются — закрывать страницы «на всякий случай» нельзя.
| Директива | Что делает | Пример |
|---|---|---|
| User-agent: * | Правила для всех поисковиков | User-agent: * |
| Disallow: | Запрежает доступ к пути | Disallow: /parser/ |
| Allow: | Разрешает доступ к пути (исключение) | Allow: /blog/ |
| Sitemap: | Указывает путь к карте сайта | Sitemap: https://uriy-as.org/sitemap.xml |
| Crawl-delay: | Задержка (устарело, игнорируется Google) | Не использовать |
| Noindex в robots.txt | Плохая практика — страница не исчезнет из индекса | Используйте meta noindex |
Пример базового robots.txt
Для корпоративного сайта из 70+ страниц достаточно 15–20 строк:
7 ошибок в robots.txt
- Disallow: / — закрывает весь сайт. Самая частая причина «пропал из Google».
- Закрытие CSS/JS — поисковик не видит стили и ранжирует «слепую».
- Disallow для служебных URL без нужды — /parser/, /api/, /stats — да; контент — нет.
- Отсутствие Sitemap: — мелочь, но помогает индексации.
- Дубли директив без User-agent — каждая группа правил начинается с User-agent.
- Проверка по Google Search Console — раздел «Файл robots.txt» покажет ошибки.
- Закрытие сайта на время разработки — не забыть открыть до релиза.
Как проверить файл
- Откройте https://uriy-as.org/robots.txt в браузере — должен быть текст, а не 404.
- GSC → Настройки → Файл robots.txt: должен отображаться без ошибок.
- Робот: Googlebot и YandexBot получают 200 на всех страницах.
- После правки — подождите 1–3 дня, Google перечитает файл.
Что делает WebStudio
При разработке сайта robots.txt создаётся автоматически под структуру проекта: служебные разделы закрыты, AI-краулеры разрешены, sitemap подключён. Если ваш robots.txt блокирует индексацию — напишите в Telegram, проверю за 5 минут.
Частые вопросы
Что такое robots.txt простыми словами?
Файл в корне сайта с правилами для поисковиков: что сканировать, а что нет. Ошибка в нём может полностью убрать сайт из выдачи.
Может ли robots.txt улучшить позиции в Google?
Напрямую — нет. Он только управляет сканированием. Но правильный robots.txt не мешает индексации и экономит краулинговый бюджет.
Что будет, если закрыть всё через Disallow: /?
Сайт полностью выпадет из индекса. Это самая частая причина жалоб «пропали из Google».
Нужно ли закрывать /parser/ и служебные страницы?
Да. Служебные разделы (/parser/, /stats, /api/) не нужны в выдаче и тратят краулинговый бюджет.