Как и почему деиндексировать мой контент? SEO фактов № 2

1. noindex и disallow: есть разница
2. Предотвратить сканирование:
3. Сделать неиндексируемый контент:
4. В каком случае я деиндекс?
5. Какие типы контента я могу индексировать без риска?
6. Как один деиндекс?
7. Тег мета роботов.
8. Директива х тега робота в .htaccess
9. Как я могу ускорить процесс?
10. А для страниц, которые я удаляю?

Deindexing - это действие по удалению контента из индекса поисковой системы. Существует много причин для деиндексации контента и методов, здесь мы рассмотрим основные ситуации и методы.

Содержание:

noindex и disallow: есть разница

Когда на сайте не предпринимается никаких действий и направление не указано. Индексирующие роботы сканируют сайт и индексируют все содержимое, которое они хотят.

Однако, с одной стороны, можно заблокировать сканирование робота, а с другой - создать неиндексируемый контент. Это 2 разных действия, которые не будут иметь одинаковых последствий.

Предотвратить сканирование:

Когда мы хотим предотвратить сканирование определенного содержимого или каталогов на сайте, мы используем файл robots.txt, в который мы записываем директиву disallow для соответствующего содержимого. Этот файл сообщает роботам, какие файлы они могут или не могут просматривать.

НО ВНИМАНИЕ : это только индикация, возможно, что роботы просматривают это содержимое и в любом случае индексируют его, если они не читают файл. И если сайт уже просканирован, поисковая система не может удалить проиндексированный контент.

Сделать неиндексируемый контент:

Когда мы не хотим, чтобы контент появлялся в индексе поисковой системы, мы используем директиву noindex. Это действие сообщает поисковым системам, что мы не хотим, чтобы они предлагали этот контент на страницах результатов.

Таким образом, файл robots.txt должен указывать, как только основные принципы сканирования включаются, но он не служит для контроля видимости вашего контента в поисковых системах.

Обратите внимание, что Google не рекомендуется блокировать сканирование ресурсов js и css.

В каком случае я деиндекс?

Причины желания сделать неиндексируемый контент многочисленны и не являются исчерпывающими.

Это может быть полезно или важно сначала:

• - Я работаю над новым сайтом, но он не готов: версия prod находится в noindex, чтобы не показывать его до его завершения.

• - На моем сайте хранятся данные, которые я хочу сохранить в тайне.

Но иногда это также стратегически:

• - Я хочу индексировать только мои качественные страницы.

• - Я хочу, например, следовать правилам Google для дублированного контента.

• - Я хочу ограничить показатель отказов.

ВНИМАНИЕ : индексация вашего контента не является безобидным действием и может иметь серьезные последствия для ссылки на сайт. Когда мы начинаем в стратегической части, мы должны быть уверены в том, что мы делаем.

Основным риском является потеря трафика на дальние расстояния. Ограничение индексации вашего контента также означает ограничение передачи PR (Page Rank), остальные страницы будут иметь меньший вес в глазах поисковой системы и могут также потерять качество в его глазах.

Google полностью способен анализировать и реагировать на большие изменения на сайте. Таким образом, массовая деиндексация может также стать негативным сигналом для поисковой системы, который будет интерпретировать это как желание скрыть тени. Таким образом, предложение меньшего количества страниц также означает риск потери доверия со стороны поисковой системы.

Какие типы контента я могу индексировать без риска?

Задайте себе несколько вопросов перед деиндексацией

• - Отвечает ли мой контент запросу пользователя, который ищет мой контент, продукты или услуги?

• - Имеет ли мой контент смысл моей деятельности?

• - Является ли мой контент весомым с точки зрения SEO (это тема ссылок и т. Д.)

Если на эти 3 вопроса нет ответа: вы можете начать!

Но вот тип файлов, с которыми вы не будете рисковать, и даже это может позволить вам получить актуальность:

• - Конфиденциальные данные и все, что предварительно (до выхода в Интернет) -> важно

• - Устаревшие страницы (сезонный контент или контент события или продукт или услуга, которую вы предлагаете больше) -> рекомендуется

• - Внутренняя поисковая система / многогранная навигация: если страницы результатов полезны только для пользователя и / или вы не знаете, как ими управлять -> настоятельно рекомендуется

• - Повторяющееся содержимое -> настоятельно рекомендуется

• - неинтересные или нерелевантные страницы -> рекомендуется

• - PDF: если они предлагают содержание, идентичное HTML страницы -> рекомендуется

Как один деиндекс?

Возможны несколько методов.

Тег мета роботов.

Помещенный между тегами <head> </ head>, метатег robots используется для указания директив для индексации содержимого сайта.

Это может означать, что мы в порядке, так что робот индексирует контент и следует ссылкам, предлагаемым в контенте:

Чтобы сделать содержимое неиндексируемым, но мы в порядке, так что ссылки на странице отслеживаются (рекомендуется, когда мы просто хотим, чтобы конкретный контент был проиндексирован, а на странице нет проблемных ссылок):

Чтобы сделать содержимое неиндексируемым и предотвратить отслеживание ссылок (эта мера полностью ограничивает робота, который не продолжает сканирование с этой страницы):

ВНИМАНИЕ : метатег не поддерживает все форматы.

Директива х тега робота в .htaccess

Самый эффективный метод, потому что он позволяет вам управлять форматами, которые вы хотите деиндексировать. Эта директива отображается в заголовке http содержимого файла. .htaccess , Вы можете управлять форматами, как вы хотите.

Пример для деиндексации PDF:

Для удаления файлов изображений:

ВНИМАНИЕ : в любом случае вы должны выбрать один из двух методов и не устанавливать две директивы для одного и того же контента. Это не сделает действие более эффективным!

ВНИМАНИЕ к конкретному случаю : в некоторых случаях, как отклонение продуктов на сайтах электронной коммерции, мы будем отдавать предпочтение тегу rel = canonical, потому что у этого дублированного содержимого есть причина, и Google может его интерпретировать.

Как я могу ускорить процесс?

Модификация этих директив учитывается только при следующем сканировании поисковой системы. Если вы хотите ускорить процесс, рекомендуется выполнить еще 2 действия:

• Добавьте выделенную карту сайта для вашего контента в deindex: можно создать карту сайта для вашего контента в deindex. Размещая его в корневом каталоге сайта и отправляя его в Search Console, вы гарантируете, что ваши рекомендации будут приняты во внимание, и это может сэкономить вам немного времени.

• В консоли поиска у вас также есть возможность запросить временное удаление URL из индекса . Если содержание действительно проблематично, это может помочь вам быстрее действовать в индексе, предоставляя вам время для внесения изменений в ваш сайт и их учета.

А для страниц, которые я удаляю?

Вы решили удалить какой-либо контент с вашего сайта, потому что он устарел?

Первое, что нужно сделать, это указать, что этот контент больше не существует, отправив ответ http 404, 410 или 411 в заголовок соответствующего контента. Поисковая система будет постепенно деиндексировать ваш контент постепенно. Обратите внимание, что, по-видимому, код 410 работает лучше.

Иногда поисковой системе может потребоваться много времени, чтобы удалить контент 404 из своего индекса. Если ваш контент проблематичен, вы можете добавить к контенту заголовок тега x robot, чтобы немного ускорить процесс.

ВНИМАНИЕ к удалению содержимого : возможно, что удаленный контент имеет значение SEO (либо оно соответствует длинному усеченному выражению, либо получило хорошие ссылки): в этом случае мы НЕ рекомендуем выполнять деиндексацию на этой странице, но для возврата URL-адреса в 404 на близкую или эквивалентную страницу через перенаправление 301.

• Опубликовано в практических листах •

о Энн Лиз

Руководитель проекта, занимался SEO, веб-редакцией и накануне своей специальности. @barbie_geekette ежедневно следит за новостями в Интернете.

Похожие

Комментарии