Если в индексе уже накопились страницы вида /page/2/, архивы по датам, теги без контента и служебные страницы, поисковик начинает тратить обход на слабые URL. Для небольшого сайта это незаметно, но на контентном проекте такие страницы быстро раздувают индекс и мешают продвигать основные материалы.
Ниже — рабочий сценарий: сначала понять, что именно нужно закрыть, затем настроить noindex и проверить результат без догадок. Без выдуманных «магических» настроек: только то, что реально можно внедрить в WordPress.
Когда проблема действительно есть
Не стоит закрывать всё подряд. Сначала проверьте, что в индексе есть мусорные URL и они не дают ценности. Обычно сигналов достаточно несколько:
- в поиске видны страницы пагинации архивов, хотя на них почти нет уникального текста;
- в индексе много архивов тегов, рубрик и дат, которые дублируют друг друга;
- в Google Search Console растёт число «Просканировано, но не проиндексировано» для второстепенных страниц;
- по запросу
site:example.com page/2находятся страницы, которые не должны ранжироваться; - служебные страницы автора, поиска и результатов фильтрации попадают в выдачу.
Что именно обычно закрывают
Для большинства WordPress-сайтов речь идёт о таких типах страниц:
- архивы пагинации рубрик, тегов и записей автора;
- архивы по дате, если они не несут самостоятельной ценности;
- страницы внутреннего поиска;
- служебные страницы с тонким или повторяющимся содержимым;
- иногда — отдельные таксономии, если они создают дубли основных страниц.
Важно: если архив рубрики реально является посадочной страницей и приносит трафик, его лучше не закрывать автоматически. Сначала смотрят на фактическую пользу, а не на тип URL.
Как выбрать способ: плагин, код или настройки SEO-плагина
Есть три нормальных пути. Выбор зависит от того, насколько точечно нужно управлять индексированием.
| Подход | Когда подходит | Плюсы | Минусы |
|---|---|---|---|
| SEO-плагин | Нужно быстро закрыть архивы и пагинацию без кода | Просто включить, меньше риска сломать шаблон | Не всегда удобно для точечной логики |
| Код в теме или плагине | Нужны точные правила для конкретных архивов | Полный контроль, можно учитывать условия | Требует аккуратной проверки после обновлений |
| Комбинация | Часть страниц закрывает SEO-плагин, часть — код | Гибкость | Легко запутаться, если нет документации по правилам |
Если у вас уже стоит SEO-плагин и он умеет управлять robots meta, обычно разумнее начать с него. Код нужен тогда, когда стандартных переключателей не хватает.
Пошаговое решение через код
Ниже пример, который добавляет noindex,follow для архивов пагинации, страниц поиска и архивов по дате. Код можно положить в functions.php дочерней темы или в небольшой mu-plugin.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_paged() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
if ( is_search() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
if ( is_date() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Что здесь происходит:
is_paged()срабатывает на страницах пагинации архивов и главной;is_search()закрывает внутренний поиск;is_date()закрывает архивы по дате;followоставляет переход по ссылкам доступным для обхода.
Если нужно закрыть только пагинацию архивов, но не главную страницу блога, лучше сузить условие. Например, исключить первую страницу и не трогать обычные архивы без пагинации.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_paged() && ! is_front_page() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Если нужен точечный контроль для рубрик и тегов
Иногда требуется закрыть только теги, а рубрики оставить открытыми. Тогда ориентируйтесь на таксономию:
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_tag() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Такой вариант удобен, если теги создаются автоматически и не несут самостоятельной ценности. Но если теговые страницы у вас собраны вручную и содержат уникальные блоки, закрывать их без анализа не стоит.
Как сделать это через SEO-плагин
Если вы не хотите писать код, проверьте настройки SEO-плагина. В большинстве случаев там есть переключатели для архивов автора, дат, тегов и страниц поиска. Логика простая: отключаете индексирование там, где контент повторяется, и оставляете открытыми только полезные посадочные страницы.
При этом важно не путать два уровня:
- meta robots — управляет индексацией страницы;
- robots.txt — управляет обходом, но не гарантирует удаление URL из индекса.
Если задача именно убрать страницы из поиска, noindex надёжнее, чем запрет в robots.txt. Закрывать URL только через robots.txt — частая ошибка.
Проверка результата после внедрения
После изменения не ограничивайтесь просмотром кода страницы. Проверка должна быть в двух местах: в браузере и в инструментах поисковика.
Что смотреть в HTML
Откройте страницу пагинации, архив тегов или поиск и проверьте исходный код. В <head> должен появиться robots meta с нужным значением. В зависимости от темы и плагинов это может выглядеть по-разному, но смысл один: страница не должна быть индексируемой.
Пример ожидаемого результата:
<meta name="robots" content="noindex, follow" />Что смотреть в Google Search Console
- проверьте URL через инструмент проверки страницы;
- посмотрите, как Google видит robots meta;
- отправьте страницу на повторное сканирование, если нужно ускорить переобход;
- сравните отчёт по индексированию через несколько дней или недель, а не сразу.
Если страница всё ещё в индексе, это не значит, что настройка не сработала. Поисковику нужно время, чтобы переобойти URL и обновить статус.
Частые ошибки и как их исправить
Закрыли в robots.txt, но URL остались в индексе
Это типичная ситуация. Если поисковик уже знает URL, запрет на обход не всегда убирает его из выдачи. Решение: вернуть доступ к странице и добавить noindex через meta robots или через SEO-плагин.
Поставили noindex на все архивы и потеряли полезный трафик
Так бывает, когда закрывают рубрики, которые реально ранжируются. Исправление простое: откройте отчёт по страницам входа и оставьте индексируемыми те архивы, которые приносят переходы и имеют уникальный контент.
Конфликт с SEO-плагином
Если плагин уже управляет robots meta, а вы добавили свой фильтр, можно получить неожиданный результат. Например, один код ставит index, другой — noindex. В таком случае оставьте только один источник правил.
Код добавили в родительскую тему
После обновления темы изменения пропадут. Для таких правок используйте дочернюю тему или отдельный мини-плагин. Это особенно важно, если сайт живёт на поддержке и обновляется регулярно.
Чек-лист перед публикацией изменений
- Проверить, какие архивы реально дают трафик.
- Определить, что закрываем: пагинацию, поиск, даты, теги или автора.
- Выбрать один способ управления robots meta.
- Проверить исходный код страницы после внедрения.
- Сравнить статус URL в Search Console.
- Не закрывать полезные посадочные страницы без анализа.
Практические замечания по безопасности и производительности
Сама настройка noindex почти не влияет на скорость сайта, но косвенно помогает: поисковик тратит меньше внимания на мусорные URL, а вы проще контролируете структуру индекса. Для больших сайтов это особенно заметно, если одновременно убрать дубли в архивных страницах и не плодить лишние таксономии.
Если вы часто меняете правила индексации, держите их в одном месте: либо в SEO-плагине, либо в отдельном мини-плагине. Разбросанные по теме куски кода потом сложно сопровождать, а после смены шаблона они легко теряются.
Для сайтов, где нужно регулярно чистить дубли, полезно сочетать такую настройку с аудитом архивов и мета-данных. Если нужен более широкий набор инструментов для чистки дублей и технической оптимизации, можно посмотреть на Clearfy Pro, но перед установкой всё равно стоит проверить, какие именно страницы он будет затрагивать.
Главный критерий простой: после внедрения в индексе должны остаться только те страницы, которые вы реально хотите продвигать. Всё остальное — либо закрывается, либо перерабатывается в полезный контент, а не живёт в поиске по инерции.