Ошибки в robots.txt на WordPress приводят к потере до 30% краулингового бюджета из-за индексации технических страниц, что замедляет обновление контента в выдаче с 2-3 дней до 2 недель. Правильная конфигурация этого файла — это не «гигиена», а инструмент управления приоритетами поискового робота.
Анатомия стандартного robots.txt в WordPress
По умолчанию WordPress генерирует виртуальный robots.txt, который часто слишком либерален. Главная проблема — открытый доступ к папке /wp-admin/ и параметрам сортировки, что создает сотни дублей страниц. В среднем, на сайте с 100 статьями без оптимизации robots.txt поисковик может проиндексировать до 400 технических URL, включая страницы тегов и архивов автора.
Критически важно закрыть /wp-admin/, но оставить доступ к /wp-admin/admin-ajax.php, так как многие современные темы используют его для подгрузки контента, и его блокировка может привести к ошибкам рендеринга в Google Search Console.
Экспертный вывод: Виртуальный файл — это риск. Всегда создавайте физический robots.txt в корне сайта через FTP или файловый менеджер, чтобы исключить случайные сбросы настроек при обновлении ядра CMS.
Оптимизация под Google и Яндекс: различия
Использование одного файла для всех ботов — ошибка новичка. Google игнорирует директиву Disallow для некоторых типов контента, если видит тег noindex в HTML, в то время как Яндекс строго следует robots.txt. Практика показывает: разделение инструкций через User-agent позволяет увеличить эффективность индексации целевых страниц на 15-20% за счет точечного ограничения мусорного трафика.
Пример: для Yandex стоит жестче ограничить индексацию параметров поиска (?s=), чтобы избежать «раздувания» индекса. Для Google приоритетом остается чистота структуры и отсутствие конфликтов между robots.txt и мета-тегами robots.
Экспертный вывод: Используйте разные блоки User-agent для Googlebot и Yandex. Это позволяет гибко управлять индексацией, не жертвуя видимостью в одной из систем.
Критические ошибки и «черные дыры» трафика
Самая фатальная ошибка — случайный Disallow: / в корне файла, который мгновенно выкидывает сайт из индекса. Восстановление позиций после такого инцидента занимает от 14 до 45 дней даже при быстрой правке. Еще один нюанс — блокировка /wp-content/plugins/ или /wp-includes/, что лишает роботов доступа к CSS и JS файлам. В 2024 году это ведет к падению позиций в Mobile-First Index, так как страница считается «сломанной» при рендеринге.
Кейс: сайт-каталог на WP после блокировки папки /wp-content/ потерял 25% трафика из Google за неделю, так как робот перестал видеть верстку и присвоил страницам статус «неудобных для мобильных устройств».
Экспертный вывод: Никогда не закрывайте системные папки с ресурсами (CSS, JS, Images). Робот должен видеть сайт так же, как пользователь, иначе вы получите пессимизацию по UX-метрикам.
Практический шаблон идеального файла
Для большинства коммерческих сайтов на WordPress оптимален следующий набор правил: запрет /wp-admin/ (кроме admin-ajax.php), запрет страниц вложений /wp-json/, запрет параметров поиска и фильтрации. Добавление ссылки на sitemap.xml в конец файла сокращает время обнаружения новых страниц в среднем на 10-15%.
- User-agent: *
- Disallow: /wp-admin/
- Allow: /wp-admin/admin-ajax.php
- Disallow: /wp-json/
- Disallow: /?s=
- Sitemap: https://site.ru/sitemap.xml
Важно: если вы используете SEO-плагины, они могут перехватывать управление файлом. Проверяйте итоговый результат через инструмент «Проверка robots.txt» в вебмастерах.
Экспертный вывод: Минимализм в robots.txt лучше, чем перегруженность. Чем меньше правил, тем меньше вероятность допустить ошибку, которая заблокирует важный раздел.
Вывод
Настройка robots.txt — это фундамент, без которого любая SEO оптимизация сайтов на WordPress будет работать вполсилы. Мой вердикт: откажитесь от виртуальных файлов в пользу физического robots.txt, строго разграничьте доступ для Google и Yandex и никогда не блокируйте ресурсы рендеринга (JS/CSS). Начните с аудита текущего файла через Google Search Console: если в индексе есть страницы /wp-json/ или результаты поиска — немедленно вносите правки, чтобы высвободить краулинговый бюджет для конверсионных страниц.
Эта тема — часть большого разбора: SEO оптимизация сайтов на WordPress.