Если сайт на WordPress разрастается, в индексе часто начинают жить не только полезные страницы, но и архивы автора, даты, теги, служебные страницы пагинации. Проблема не в самом факте их существования, а в том, что поисковик тратит обход на малополезные URL и иногда выбирает их как канонические вместо нормальных посадочных.
Ниже — рабочая схема: как понять, что именно нужно закрывать, чем отличается noindex от запрета в robots.txt, как это сделать через плагин или код и как проверить, что после правки не пострадали нужные страницы.
Когда архивы автора и даты действительно мешают
Не все архивы нужно закрывать автоматически. Если у вас новостной сайт, блог с сильными авторами или контент, где страницы автора собирают трафик, закрывать их вслепую нельзя. Но в типичном корпоративном блоге или контентном сайте без выраженной авторской структуры архивы часто дублируют логику рубрик и не несут самостоятельной ценности.
Типичные симптомы
- В поиске всплывают URL вида
/author/username/,/2025/08/,/tag/..., хотя вы на них не рассчитывали. - В Search Console растет число проиндексированных служебных страниц.
- На сайте есть тонкие архивы: на странице автора 3 записи, на странице даты 2 записи, а на странице рубрики тот же набор материалов.
- Пагинация архивов индексируется, хотя на ней нет уникального контента.
Диагностика: что именно закрывать, а что оставить
Перед изменениями проверьте, какие URL уже в индексе и какие из них реально приносят трафик. Самая частая ошибка — закрыть всё подряд, а потом обнаружить, что архив автора был единственной страницей, которая стабильно ранжировалась по имени эксперта.
Что смотреть в первую очередь
- Google Search Console — отчет по страницам и исключенным URL.
- site: запросы в поиске — для быстрой проверки, что именно попало в индекс.
- Логи сервера — если есть доступ, видно, как часто поисковый робот ходит по архивам.
- Структуру темы — иногда архивы автора вообще не нужны, но тема их генерирует и выводит в меню или хлебных крошках.
Если архивы уже получают переходы, не закрывайте их без замены. В таком случае лучше либо улучшить страницу архива, либо сделать редирект на более релевантную страницу, либо оставить индексируемой только одну полезную сущность, например архив автора с биографией и подборкой материалов.
Как закрыть архивы от индексации: плагин или код
Есть три нормальных подхода: через SEO-плагин, через код в теме/мини-плагине и через robots.txt. Последний вариант сам по себе обычно недостаточен: запрет в robots.txt не гарантирует удаление URL из индекса, если они уже известны поисковику. Для удаления из индекса чаще нужен именно noindex.
| Способ | Когда подходит | Плюсы | Минусы |
|---|---|---|---|
| SEO-плагин | Нужно быстро и без кода | Просто включить, меньше риска сломать сайт | Зависимость от интерфейса плагина |
| Код | Нужен контроль и предсказуемость | Не зависит от настроек админки, легко версионировать | Нужна аккуратность и тестирование |
robots.txt | Нужно ограничить обход | Снижает нагрузку на обход | Не решает вопрос индексации уже известных URL |
Вариант через SEO-плагин
Если у вас установлен плагин, который умеет управлять мета-тегами архивов, используйте его настройки для архивов автора, дат, тегов и таксономий. Важно не просто «спрятать» страницу, а именно поставить noindex,follow, если нужно сохранить передачу веса по внутренним ссылкам.
В некоторых сборках удобно использовать Clearfy Pro: там есть блоки для чистки сайта и управления индексированием служебных страниц. Это не обязательный вариант, но он подходит, если задача шире, чем один архив автора, и нужно централизованно отключить лишние сущности.
Вариант через код
Если нужен точечный контроль, добавьте фильтр в мини-плагин или functions.php. Ниже пример для архивов автора и дат: он добавляет noindex,follow только на нужных типах архивов.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() || is_date() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Если нужно закрыть еще и архивы тегов, можно расширить условие. Но делайте это только после проверки, что теги не дают самостоятельный трафик и не используются как посадочные страницы.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() || is_date() || is_tag() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Если нужно закрыть только часть архивов
Часто проблема не в архивах как классе, а в конкретных авторах или таксономиях. Например, у вас есть один технический автор с полноценной биографией и несколькими материалами, а остальные архивы пустые или дублируют рубрики. В таком случае лучше закрыть только слабые архивы, а сильный оставить открытым.
Пример выборочного правила
WordPress позволяет проверить текущего автора по ID. Это полезно, если нужно оставить индексируемым один архив и закрыть остальные.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() ) {
$author_id = get_queried_object_id();
if ( $author_id !== 12 ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
}
return $robots;
} );Такой подход лучше, чем массовое закрытие всех авторов, если один из архивов уже работает как полезная страница профиля.
Проверка результата после внедрения
После изменений не ограничивайтесь просмотром исходного кода в браузере. Нужно проверить и HTML, и поведение поисковика.
- Откройте архив автора и проверьте наличие
<meta name="robots" content="noindex,follow">или эквивалентного заголовка. - Убедитесь, что важные страницы записей и рубрик остались индексируемыми.
- Проверьте, не закрылись ли архивы, которые используются в хлебных крошках или меню.
- В Search Console отправьте страницу на повторную проверку, если она уже была в индексе.
- Сравните статус URL через несколько дней: сначала может остаться старая версия, это нормально.
Если вы используете серверные заголовки, можно проверить их через curl:
curl -I https://example.com/author/username/В ответе ищите либо заголовок X-Robots-Tag, либо убедитесь, что в HTML есть нужный meta robots. Для поисковика важен конечный результат, а не только то, где именно он задан.
Частые ошибки и как их исправить
Закрыли в robots.txt, но URL остались в индексе
Это ожидаемое поведение. robots.txt ограничивает обход, но не всегда удаляет уже известные страницы из выдачи. Если нужно убрать URL из индекса, используйте noindex и дождитесь переобхода.
Поставили noindex на архив, который нужен для внутренней перелинковки
noindex не мешает переходам по ссылкам, но если архив был важной навигационной страницей, его закрытие может ухудшить структуру сайта. В таком случае лучше пересмотреть сам архив: добавить описание, подборку материалов, фильтры или заменить его на более полезную посадочную.
Закрыли все архивы, включая полезные
Такое часто случается после массовой настройки SEO-плагина. Проверьте, не потеряли ли вы страницы, которые собирали брендовый или экспертный трафик. Если да, верните их в индекс и дайте им уникальный контент.
Смешали noindex и canonical на другую страницу
Если архив закрыт, но canonical указывает на него же или на нерелевантную страницу, поисковик может интерпретировать сигнал неоднозначно. Canonical должен быть осмысленным: либо на саму страницу, если она нужна, либо на действительно близкий по смыслу URL.
Практические советы по безопасности и производительности
Когда вы чистите индекс, не забывайте про техническую сторону. Лишние архивы — это не только SEO-шум, но и лишняя нагрузка на генерацию страниц, особенно если тема тяжелая и архивы строятся с дополнительными запросами.
- Если правите код, выносите его в мини-плагин, а не в активную тему: так изменения не потеряются при обновлении.
- Не отключайте архивы через хаотичные правки шаблонов, если можно решить задачу на уровне robots и мета-тегов.
- Проверьте, не генерирует ли тема отдельные архивы для медиафайлов и вложений — они тоже часто попадают в мусорный индекс.
- Если используете кэш, после изменений очистите и серверный, и плагинный кэш, иначе проверка даст ложный результат.
Если задача шире и нужно одновременно убрать дубли, почистить служебные страницы и навести порядок в SEO-настройках, имеет смысл смотреть на инструменты, которые закрывают это централизованно, а не набором разрозненных правок.
После внедрения держите под контролем Search Console еще несколько переобходов. Для WordPress это нормальная история: сначала вы меняете правила генерации страниц, потом поисковик постепенно пересобирает картину индекса. Главное — чтобы ваши сигналы были однозначными и не конфликтовали друг с другом.