Как закрыть от показа технические страницы WordPress без вреда для индексации

В WordPress почти на каждом сайте есть страницы, которые не должны попадать в поиск и не должны мешать индексации: служебные архивы, результаты поиска, страницы автора на однопользовательском сайте, вложения, тестовые разделы, внутренние фильтры. Проблема обычно не в одной странице, а в наборе мелких дублей и технических URL, которые индексируются по-разному в зависимости от темы, плагинов и настроек сервера.

Если закрывать всё подряд через robots.txt, можно не решить задачу: URL останется в индексе без описания, а сам контент продолжит гулять по внутренним ссылкам. Если ставить noindex на всё без разбора, легко закрыть полезные страницы и потерять трафик. Ниже — рабочая схема, где сначала находим типы проблемных URL, потом выбираем способ закрытия и только после этого проверяем результат.

Какие страницы WordPress обычно нужно закрывать

Сначала полезно разделить технические URL на три группы. Это помогает не смешивать разные задачи и не ломать индексацию там, где она нужна.

Страницы, которые почти всегда должны быть закрыты

• результаты внутреннего поиска сайта;
• страницы вложений, если у них нет самостоятельной ценности;
• служебные страницы предпросмотра и тестовые URL;
• архивы автора на сайте с одним автором, если они дублируют блог;
• страницы с параметрами сортировки и фильтрации, если они создают мусорные комбинации.

Страницы, которые закрывают не всегда

• архивы рубрик и меток;
• страницы пагинации;
• архивы дат;
• страницы медиафайлов.

Здесь решение зависит от структуры сайта. Например, рубрики часто нужны для навигации и SEO, а вот метки на слабой структуре могут только плодить дубли. Поэтому сначала смотрим на фактическую пользу страницы, а не на тип архива как таковой.

Диагностика: где именно у вас появляются дубли и мусорные URL

Перед правками проверьте, какие страницы уже попали в индекс и какие URL генерирует сайт. Самая частая ошибка — закрывать то, чего на самом деле нет, и не трогать реальный источник дублей.

Что проверить вручную

• поиск по сайту через site:example.ru в поисковике;
• страницы с ?s= в URL;
• архивы автора, если автор один;
• страницы вложений вида /attachment/ или отдельные URL медиафайлов;
• параметры в адресной строке: сортировка, фильтры, UTM, внутренние метки.

Что посмотреть в WordPress

Если у вас есть доступ к коду, быстро проверьте, какие типы записей и таксономии публичные. Иногда проблема не в SEO-плагине, а в том, что разработчик случайно сделал служебную таксономию публичной.

<?php
add_action('init', function () {
    $taxonomies = get_taxonomies([], 'objects');

    foreach ($taxonomies as $taxonomy) {
        if (!empty($taxonomy->public) || !empty($taxonomy->publicly_queryable)) {
            error_log($taxonomy->name . ' is public');
        }
    }
});

Этот фрагмент не решает задачу сам по себе, но помогает быстро увидеть, что именно WordPress считает доступным для фронтенда. Если в логах всплывает служебная таксономия, её лучше исправить в регистрации, а не маскировать noindex-ом.

Пошаговое решение: как закрыть страницы без лишних потерь

Ниже — практичный порядок действий. Он подходит для большинства сайтов на WordPress, где есть SEO-плагин и стандартные архивы.

Шаг 1. Уберите из индекса результаты поиска и вложения

Результаты поиска почти никогда не должны индексироваться. Они нестабильны, зависят от запроса и часто создают тысячи бесполезных URL. Страницы вложений тоже обычно не нужны в поиске, если вы не используете их как отдельные посадочные страницы.

Если у вас SEO-плагин, включите для этих разделов noindex в его настройках. Если правите кодом, можно добавить мета-тег на уровне шаблона:

<?php
add_action('wp_head', function () {
    if (is_search() || is_attachment()) {
        echo '<meta name="robots" content="noindex,follow">' . "\n";
    }
}, 1);

Здесь важно именно noindex,follow, а не просто noindex. Так поисковик не будет индексировать саму страницу, но сможет переходить по ссылкам дальше.

Шаг 2. Закройте архив автора на однопользовательском сайте

Если на сайте один автор, архив автора обычно дублирует главную ленту или рубрики. В этом случае его лучше закрыть от индексации или отключить совсем. Если архив нужен для навигации, оставьте его доступным, но поставьте noindex.

Для проверки логики в шаблоне можно использовать такой подход:

<?php
add_action('wp_head', function () {
    if (is_author() && (int) get_query_var('author') === 1) {
        echo '<meta name="robots" content="noindex,follow">' . "\n";
    }
}, 1);

Этот пример условный: вместо 1 подставьте ID автора, если архив нужен только для одного конкретного пользователя. На практике чаще закрывают все архивы автора на сайте с одним автором через SEO-плагин или фильтр темы.

Шаг 3. Настройте каноникал там, где есть параметры и дубли

Если дубль создаётся параметрами URL, одного noindex может быть мало. Поисковику нужно явно показать основную версию страницы. Для этого используется canonical, но только если у вас действительно есть основная версия, а не набор разных страниц с уникальным содержанием.

Например, если фильтр добавляет параметры, а контент страницы не меняется критично, canonical должен указывать на чистый URL без параметров. В WordPress это обычно делает SEO-плагин, но проверить нужно вручную: откройте исходный код страницы и найдите rel="canonical".

Шаг 4. Не закрывайте полезные архивы через robots.txt

robots.txt подходит для ограничения обхода, но не для удаления уже проиндексированных URL. Если страница уже в индексе, а вы просто запретите её сканирование, она может остаться в выдаче без нормального описания. Поэтому robots.txt имеет смысл использовать только для второстепенных технических путей, которые не должны тратить crawl budget.

Пример аккуратного правила:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/uploads/private/
Disallow: /?s=

Sitemap: https://example.ru/sitemap_index.xml

Обратите внимание: запрет /?s= в robots.txt не заменяет noindex для страниц поиска. Это лишь ограничение обхода. Для поисковых результатов лучше использовать оба механизма: запрет на обход и мета-робот для страницы, если она всё же открывается.

Сравнение подходов: что выбрать для конкретной задачи

Проверка результата после внедрения

После правок не ограничивайтесь визуальной проверкой. Нужны минимум три шага: исходный код, ответ сервера и проверка в панели для вебмастеров.

Что проверить в браузере

• есть ли на странице <meta name="robots" content="noindex,follow">;
• не остался ли лишний canonical на неправильный URL;
• не закрыта ли полезная страница случайно через noindex;
• не редиректит ли URL на неожиданный адрес.

Что проверить через curl

Если нужно быстро посмотреть заголовки и код ответа, используйте curl:

curl -I https://example.ru/?s=test
curl -I https://example.ru/author/admin/
curl -I https://example.ru/sample-page/

Так вы увидите, не отдает ли сервер редирект, не закрыта ли страница на уровне ответа и не мешает ли кэш старой версии HTML.

Что проверить в поисковой панели

После переобхода страницы смотрите статус индексации и выбранный canonical. Если поисковик продолжает считать дубль основной страницей, значит, где-то остались внутренние ссылки на неправильный URL или canonical указывает не туда.

Частые ошибки и как их исправить

• Закрыли страницу в robots.txt, но не поставили noindex. URL может остаться в индексе. Исправление: разрешите обход, добавьте noindex, дождитесь переобхода.
• Поставили noindex на рубрики, которые дают трафик. Исправление: проверьте отчёты по страницам входа и не закрывайте архивы, которые реально ранжируются.
• Сделали canonical на главную для всех дублей. Это ломает смысл страницы. Canonical должен указывать на ближайший эквивалент, а не на случайную «главную».
• Закрыли вложения, но оставили на них внутренние ссылки. Исправление: либо редиректите вложения на файл/родительскую запись, либо убирайте ссылки из шаблонов и контента.
• Оставили кэш со старым HTML. После правок в исходнике страница может ещё долго отдавать старый meta robots. Очистите серверный кэш, кэш плагина и CDN.

Безопасность и производительность: что не стоит делать

Если технических страниц много, не пытайтесь лечить всё одним плагином без понимания логики. Плагины для SEO и чистки сайта полезны, но они не угадают, какие архивы у вас реально нужны. Перед массовыми изменениями сделайте резервную копию и проверьте, как сайт ведёт себя на staging-копии.

Для сайтов, где много дублей, служебных архивов и лишних элементов в head, иногда удобнее использовать инструменты вроде Clearfy Pro: он помогает убрать часть технического мусора и настроить SEO-элементы без ручного редактирования шаблонов. Но даже в этом случае сначала проверьте, какие именно URL нужно закрыть, а не включайте все опции подряд. Подробности есть на странице Clearfy Pro.

Мини-чек-лист перед публикацией изменений

• проверили, какие URL реально индексируются;
• отдельно разобрали поиск, вложения, автора, параметры и архивы;
• для нужных страниц добавили noindex,follow;
• не закрыли полезные архивы без проверки трафика;
• убедились, что canonical указывает на правильную версию;
• очистили кэш и проверили исходный HTML;
• отправили важные URL на переобход в панели для вебмастеров.

Если после правок в индексе всё ещё остаются старые адреса, это обычно не ошибка настройки, а вопрос времени и повторного обхода. В такой ситуации полезно проверить внутренние ссылки, карту сайта и кэширование: именно там чаще всего остаются следы старой структуры.