robots.txt для сайта: что это, пример и 7 ошибок 2026 года

Файл robots.txt из 15 строк управляет всей индексацией. Разбираем директивы Allow/Disallow, пример для сайта на 70 страниц и 7 ошибок, из-за которых сайт пропадает из Google.

Что такое robots.txt

Файл robots.txt — это текстовый файл в корне сайта, который подсказывает поисковикам, какие страницы можно сканировать, а какие закрыты. Он не влияет напрямую на позиции, но неправильный robots.txt может полностью исключить сайт из индекса. Google читает его при каждом обходе сайта, поэтому файл должен быть корректным.

Расположение: https://uriy-as.org/robots.txt. Пустые директивы Disallow игнорируются — закрывать страницы «на всякий случай» нельзя.

ДирективаЧто делаетПример
User-agent: *Правила для всех поисковиковUser-agent: *
Disallow:Запрежает доступ к путиDisallow: /parser/
Allow:Разрешает доступ к пути (исключение)Allow: /blog/
Sitemap:Указывает путь к карте сайтаSitemap: https://uriy-as.org/sitemap.xml
Crawl-delay:Задержка (устарело, игнорируется Google)Не использовать
Noindex в robots.txtПлохая практика — страница не исчезнет из индексаИспользуйте meta noindex

Пример базового robots.txt

Для корпоративного сайта из 70+ страниц достаточно 15–20 строк:

User-agent: * Allow: / # Служебные разделы Disallow: /parser/ Disallow: /stats.html Disallow: /gh-stats.html # AI-краулеры (трафик из AI-ответов) User-agent: GPTBot Allow: / Sitemap: https://uriy-as.org/sitemap.xml

7 ошибок в robots.txt

Как проверить файл

Что делает WebStudio

При разработке сайта robots.txt создаётся автоматически под структуру проекта: служебные разделы закрыты, AI-краулеры разрешены, sitemap подключён. Если ваш robots.txt блокирует индексацию — напишите в Telegram, проверю за 5 минут.

Частые вопросы

Что такое robots.txt простыми словами?

Файл в корне сайта с правилами для поисковиков: что сканировать, а что нет. Ошибка в нём может полностью убрать сайт из выдачи.

Может ли robots.txt улучшить позиции в Google?

Напрямую — нет. Он только управляет сканированием. Но правильный robots.txt не мешает индексации и экономит краулинговый бюджет.

Что будет, если закрыть всё через Disallow: /?

Сайт полностью выпадет из индекса. Это самая частая причина жалоб «пропали из Google».

Нужно ли закрывать /parser/ и служебные страницы?

Да. Служебные разделы (/parser/, /stats, /api/) не нужны в выдаче и тратят краулинговый бюджет.

Смотреть все услуги

Подпишитесь на наш Telegram-канал

Кейсы, статьи и инсайты по разработке сайтов, Telegram-ботов и контент-маркетингу.

Подписаться в Telegram
ЮА

Юрий Астапьев

Основатель WebStudio. Разработка сайтов, Telegram-ботов и SEO-продвижение с 2019 года. Портфолио: uriy-as.org/portfolio

Чат с WebStudio