Если в индекс попадают страницы поиска, входа, корзины или внутренние формы, они почти всегда мешают сайту: размывают структуру, создают дубли и забирают краулинговый бюджет на бесполезные URL. В WordPress это обычно решается не одним способом, а набором настроек: где-то достаточно мета-тега noindex, где-то нужно запретить обход в robots.txt, а где-то правильнее вообще не отдавать страницу поисковикам через шаблон темы или плагин.
Ниже — рабочая схема, которая подходит для большинства сайтов на WordPress без лишней магии и без выдуманных «универсальных» рецептов.
Какие страницы действительно стоит закрывать
Служебные страницы не несут самостоятельной ценности для пользователя из поиска. Обычно это:
- страница поиска по сайту, например URL с параметром
?s=; - страница авторизации и восстановления пароля;
- корзина, оформление заказа и личный кабинет, если они доступны публично;
- внутренние формы, которые открываются как отдельные страницы или имеют отдельные URL;
- страницы с техническими результатами фильтров, сортировок и служебных параметров.
Логика простая: если страница не помогает привлечь трафик и не должна ранжироваться, ей не место в индексе. Но закрывать нужно аккуратно. Если просто запретить обход в robots.txt, поисковик может продолжать хранить URL в индексе без содержимого. Если поставить только noindex, робот может сначала зайти на страницу, увидеть мета-тег и убрать её из выдачи. Для большинства служебных страниц это как раз нужное поведение.
Что выбрать: noindex, robots.txt или шаблон темы
Для WordPress удобнее мыслить не «чем закрыть вообще», а «какой способ подходит конкретному типу страницы». Коротко это выглядит так:
| Способ | Когда использовать | Что важно знать |
|---|---|---|
noindex | Если страницу можно открыть, но не нужно показывать в поиске | Робот должен иметь доступ к странице, чтобы увидеть мета-тег |
robots.txt | Если нужно ограничить обход служебных URL или параметров | Это не гарантирует удаление уже проиндексированных страниц |
| Шаблон темы / PHP-логика | Если страница генерируется темой или плагином и нужна точечная настройка | Подходит для аккуратной установки заголовков и мета-тегов без лишних плагинов |
На практике чаще всего используют комбинацию: noindex, follow для самих страниц и аккуратный robots.txt только там, где есть смысл ограничить обход мусорных параметров или бесконечных URL.
Как закрыть страницу поиска WordPress
Страница поиска обычно создаётся автоматически и имеет URL вида /?s=запрос. Она полезна пользователю, но почти никогда не должна попадать в индекс. Самый надёжный вариант — добавить на такие страницы мета-тег noindex, follow. Тогда поисковик не будет показывать страницу поиска в выдаче, но сможет переходить по ссылкам внутри неё, если они есть.
Если у вас установлен SEO-плагин, проверьте, умеет ли он задавать noindex для search results. Во многих случаях это делается в настройках архивов или типов страниц. Если плагина нет, можно добавить условие в тему. Для этого в functions.php дочерней темы или в собственном мини-плагине можно вывести нужный robots-мета-тег только на поисковых страницах:
add_action('wp_head', function () {
if (is_search()) {
echo '<meta name="robots" content="noindex, follow">' . "\n";
}
});Этот вариант рабочий, но использовать его стоит только если у вас нет другого механизма, который уже выводит robots-мета-теги. Дублировать их нельзя: поисковик увидит несколько противоречивых инструкций, и поведение станет непредсказуемым.
Как закрыть страницы авторизации и восстановления пароля
Страницы входа в админку и восстановления пароля не должны индексироваться по умолчанию. В WordPress это обычно URL вроде /wp-login.php и связанные с ним служебные формы. Здесь лучше не ограничиваться одним robots.txt: поисковик может не заходить на страницу, но уже известный URL всё равно останется в базе. Если задача именно убрать страницу из выдачи, нужен noindex.
Если доступ к этим страницам у вас идёт через стандартный WordPress, отдельный шаблон обычно не нужен. Но если тема или плагин создают публичную страницу входа, проверьте её настройки и добавьте noindex на уровне шаблона или SEO-плагина. Для служебных форм логика та же: если страница нужна только для авторизованных пользователей или для технического процесса, она не должна попадать в поиск.
Здесь есть важный нюанс: не закрывайте логин-страницу через редирект на главную без причины. Поисковик может воспринимать это как мягкую ошибку, а пользователи и боты получат лишнюю путаницу. Для таких страниц обычно достаточно запрета индексации.
Корзина, оформление заказа и личный кабинет: что делать на сайте с магазином
Если на сайте есть корзина, оформление заказа или личный кабинет, эти страницы почти всегда должны быть закрыты от индексации. Они не отвечают на поисковый запрос сами по себе и часто содержат динамический контент, зависящий от сессии пользователя. Для таких URL обычно применяют noindex, follow, а иногда дополнительно убирают их из XML-карты сайта, если она формируется плагином или темой.
Если корзина и оформление заказа реализованы отдельными страницами WordPress, проверьте их настройки в SEO-плагине или в шаблоне. Важно, чтобы на этих страницах не было canonical на самих себя, если страница должна быть исключена из индекса, и чтобы они не попадали в sitemap. Сам по себе canonical не заменяет noindex; это разные сигналы.
Если магазин построен на плагине, который создаёт служебные страницы автоматически, не редактируйте их вручную в редакторе контента без понимания, как плагин потом обновляет шаблон. Безопаснее менять настройки плагина или подключать фильтр в дочерней теме.
Внутренние формы и служебные страницы: когда нужен шаблон темы
Иногда форма обратной связи, заявка на расчёт или внутренний сервисный экран сделаны как отдельная страница и доступны по публичному URL. Если такая страница не должна индексироваться, лучший вариант — задать это на уровне шаблона. Так вы не зависите от редактора и не забываете проставить мета-тег при создании новых страниц по этому шаблону.
Для этого в шаблоне страницы можно добавить условие и вывести robots-мета-тег. Если страница создаётся как отдельный шаблон темы, это удобно и прозрачно: редактор контента отвечает только за текст, а техническая часть остаётся в коде. Пример логики такой же, как и для поиска: на нужной странице выводится noindex, follow.
Если форма не является отдельной страницей, а встроена в обычную посадочную, закрывать её от индексации не нужно только из-за наличия формы. В этом случае оценивайте страницу целиком: если она полезна для поиска, пусть индексируется; если это чисто технический экран, тогда уже применяйте noindex.
Когда имеет смысл использовать robots.txt
robots.txt полезен не для удаления страниц из индекса, а для ограничения обхода. Это важно для URL с параметрами, бесконечных комбинаций фильтров и технических путей, которые не должны активно сканироваться. Но есть правило: если страница уже в индексе, один только Disallow не решит задачу.
Для служебных страниц WordPress robots.txt обычно используют осторожно. Например, если у вас есть технические параметры поиска или сортировки, которые создают множество почти одинаковых URL, можно ограничить их обход. Но саму страницу поиска или входа лучше закрывать именно через noindex. Тогда поисковик сможет зайти на страницу, увидеть запрет индексации и убрать её из выдачи.
Не стоит закрывать в robots.txt всё подряд только потому, что это «служебное». Если поисковик не может зайти на страницу, он не увидит мета-тег noindex и не всегда корректно удалит URL из индекса.
Как проверить, что закрытие работает
После настройки не полагайтесь на предположение, что «вроде всё закрыто». Проверьте несколько вещей вручную:
- откройте служебную страницу в браузере и посмотрите исходный код;
- убедитесь, что в
<head>есть<meta name="robots" content="noindex, follow">или аналогичная директива; - проверьте, что страница не попадает в XML-карту сайта;
- посмотрите, не стоит ли на неё канонический URL, который ведёт на другую служебную страницу;
- если страница уже была в индексе, дождитесь повторного обхода или отправьте её на переобход через инструменты для вебмастеров.
Если вы используете SEO-плагин, проверьте, не конфликтует ли его вывод с кодом темы. Два разных набора robots-инструкций на одной странице — частая причина того, что поисковик игнорирует ожидаемое поведение.
Типичные ошибки, из-за которых страницы всё равно остаются в поиске
Самая частая ошибка — закрыть URL в robots.txt и считать задачу решённой. Для уже известной поисковику страницы этого недостаточно. Вторая ошибка — поставить noindex на страницу, но одновременно запретить её обход в robots.txt. Тогда робот не увидит мета-тег и может оставить URL в индексе дольше, чем нужно.
Ещё одна проблема — дублирование настроек. Например, SEO-плагин уже выводит noindex, а в теме вручную добавили такой же тег. Формально это не всегда ломает страницу, но создаёт лишний шум и усложняет диагностику. Лучше выбрать один источник правды: либо плагин, либо тема, либо собственный код.
И наконец, не закрывайте полезные страницы только потому, что они выглядят «техническими». Если страница поиска или фильтра реально отвечает на пользовательский запрос и приносит трафик, решение нужно принимать отдельно. Но для типичных служебных URL WordPress безопаснее и правильнее убрать их из индекса.
Если нужен короткий практический вывод: страницы поиска, входа, корзины и внутренних форм в WordPress обычно закрывают через noindex, follow; robots.txt используют только как дополнительный инструмент для обхода; а шаблон темы удобен там, где служебная страница создаётся или контролируется вашим кодом. Такой подход даёт предсказуемый результат и не оставляет в индексе мусорные URL.