Как настроить robots.txt для WordPress: что можно закрыть, а что лучше не трогать

robots.txt в WordPress нужен не для того, чтобы «ускорить индексацию», а чтобы подсказать поисковым роботам, какие разделы сайта не стоит обходить. Ошибка здесь обычно одна: закрывают слишком много и потом удивляются, почему важные страницы хуже обходятся или часть контента выпадает из поиска. Поэтому для WordPress лучше идти от обратного: сначала понять, что действительно лишнее, а уже потом добавлять правила.

Если у сайта обычная структура, базовый robots.txt может быть очень коротким. В большинстве случаев не нужно закрывать весь сайт, архивы, рубрики или страницы записей. Чаще всего имеет смысл ограничить только технические и служебные URL, которые не должны тратить краулинговый бюджет и не несут пользы в поиске.

Что robots.txt делает в WordPress на самом деле

Файл robots.txt лежит в корне сайта и читается поисковыми роботами до обхода страниц. Он не удаляет URL из индекса сам по себе и не скрывает контент от пользователей. Его задача проще: подсказать, какие адреса можно не обходить.

Это важное различие. Если страница уже известна поисковику, одна только директива в robots.txt не гарантирует, что она исчезнет из выдачи. Для удаления из индекса нужны другие механизмы: мета-тег noindex, заголовок X-Robots-Tag или удаление страницы с корректным ответом сервера. Поэтому robots.txt используют для управления обходом, а не как универсальную кнопку «закрыть от поиска».

Что обычно можно закрыть без риска

В WordPress есть несколько типов URL, которые почти всегда лишние для поисковых роботов. Их можно ограничить, если они не нужны для индексации и не участвуют в поисковом трафике.

• /wp-admin/ — административная часть сайта;
• /wp-login.php — страница входа;
• служебные параметры и внутренние скрипты, если они доступны по отдельным URL и не должны обходиться;
• технические каталоги плагинов или тем, если они вообще открыты для обхода и не используются как публичный контент.

Для большинства сайтов достаточно закрыть админку и страницу входа. Это не влияет на индексацию публичных страниц, но уменьшает бессмысленный обход технических адресов.

Пример аккуратного robots.txt для обычного WordPress-сайта:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php

Здесь есть важная деталь: admin-ajax.php часто нужен фронтенду сайта и плагинам, поэтому его обычно не закрывают. Если закрыть его без понимания, какие функции на сайте его используют, можно получить поломки в формах, фильтрах или динамических блоках.

Что лучше не закрывать

Самая частая ошибка — пытаться спрятать от роботов всё, что кажется «лишним»: рубрики, теги, пагинацию, страницы автора, поиск по сайту, отдельные записи и страницы. Делать это вслепую не стоит.

Не закрывайте в robots.txt:

• главную страницу;
• записи и страницы, которые должны ранжироваться;
• рубрики и разделы, если они дают полезную структуру и трафик;
• пагинацию, если она нужна для обхода каталога или блога;
• файлы CSS и JS, которые нужны для корректного рендеринга страниц.

Особенно осторожно относитесь к CSS и JS. Если поисковый робот не может загрузить стили и скрипты, он хуже понимает, как выглядит и работает страница. Это уже может повлиять не только на техническую оценку, но и на качество обхода. Поэтому закрывать папки со статикой ради «чистоты» robots.txt — плохая идея.

Какие правила в WordPress чаще всего вредят

Есть несколько шаблонных ошибок, которые встречаются на сайтах снова и снова.

Закрывают весь сайт по ошибке

Самый опасный вариант — строка Disallow: /. Она запрещает обход всего сайта. Иногда её ставят на тестовом домене и забывают убрать после запуска. Если сайт уже открыт для пользователей, такая строка почти гарантированно мешает нормальной индексации.

Закрывают папку с темой или плагинами без причины

Если в robots.txt запрещают обход /wp-content/ целиком, это может задеть не только служебные файлы, но и изображения, стили, скрипты, а иногда и публичные вложения. Закрывать весь каталог wp-content обычно не нужно. Если есть конкретная служебная папка, ограничивают именно её, а не всё подряд.

Пытаются спрятать дубли через robots.txt

Если на сайте есть дубли страниц, параметры фильтрации или служебные архивы, robots.txt не всегда лучший инструмент. Он может убрать обход, но не решает вопрос индексации уже известных URL. В таких случаях обычно смотрят на канонические ссылки, noindex или настройку самих шаблонов WordPress. robots.txt здесь — не универсальное решение.

Как составить robots.txt для WordPress без лишнего риска

Практичный подход такой: сначала оставьте файл минимальным, потом добавляйте только то, что действительно нужно закрыть. Для большинства сайтов достаточно трех шагов.

1. Проверьте, есть ли у вас уже robots.txt. В WordPress он может отдаваться виртуально, даже если файла физически нет.
2. Определите служебные адреса, которые не должны обходиться: админка, логин, внутренние технические пути.
3. Не добавляйте правила для публичных страниц, пока не понимаете, зачем они нужны и чем их лучше заменить.

Если на хостинге доступен физический файл robots.txt, его обычно размещают в корне сайта. После правки важно убедиться, что сервер отдает именно тот вариант, который вы ожидаете, а не старую версию из кэша или настройку плагина.

Минимальный вариант для старта может выглядеть так:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Sitemap: https://example.com/sitemap.xml

Адрес карты сайта нужно подставить свой. Если sitemap у вас генерируется SEO-плагином или другой системой, укажите реальный URL, который открывается в браузере и отдается без ошибок.

Как проверить, что robots.txt не мешает индексации

После правки не ограничивайтесь просмотром файла в браузере. Проверьте несколько вещей вручную.

• Откройте https://ваш-домен/robots.txt и убедитесь, что видите актуальное содержимое.
• Проверьте, не закрыт ли случайно / или важные каталоги со стилями и скриптами.
• Посмотрите, доступна ли карта сайта по указанному адресу.
• Если на сайте есть важные разделы, убедитесь, что они не попали под общий запрет.

Если вы используете инструменты для вебмастеров поисковых систем, там обычно можно проверить, как робот видит robots.txt и не блокируется ли нужный URL. Это самый надежный способ поймать ошибку до того, как она повлияет на обход сайта.

Когда robots.txt не помогает и нужно другое решение

Есть ситуации, где закрытие в robots.txt выглядит логичным, но на практике не решает задачу. Например, если страница уже в индексе и вы хотите убрать её из выдачи, запрет на обход может только замедлить переобход, но не удалить URL сразу. Если нужно именно исключить страницу из поиска, используют noindex или удаление с корректным ответом сервера.

То же самое касается дублей и параметров URL. Если робот не должен тратить время на обход, robots.txt полезен. Но если задача — управлять тем, что попадет в индекс, одного файла недостаточно. В WordPress это особенно заметно на сайтах с фильтрами, архивами и большим количеством служебных страниц.

Хорошее правило простое: robots.txt закрывает обход, а не решает все SEO-задачи сразу. Чем точнее вы понимаете, что именно хотите ограничить, тем меньше шанс навредить сайту одной лишней строкой.