Robots.txt: какую роль он играет для вашего SEO?

1. Что такое Robots.txt? Какова его роль?
2. Зачем отказывать в доступе роботам?
3. Какова структура файла Robots.txt?
4. Насколько robots.txt важен для вашего SEO?
5. Некоторые инструкции по использованию robots.txt

Для этого второго выпуска файлов SEO я решил поговорить с вами о Robots.txt , документе, который иногда недооценивают, и поэтому он недостаточно используется веб-предпринимателями. Если на первый взгляд этот документ не очень привлекательный для просмотра, он, тем не менее, важен для благополучия вашего сайта (и, следовательно, для вашего благополучия тоже).

Не нужно напоминать вам, что основой SEO является исследование и индексация контента. Ваш веб-сайт содержит несколько страниц, более или менее закрытых и более или менее полезных, которые позволяют запретить доступ к роботам. И здесь вы скажете мне: если целью SEO является индексация страниц, зачем их запрещать? Влияет ли ограничение каталога положительно или отрицательно на вашу стратегию SEO?

Попробуем привести некоторые элементы ответа.

Что такое Robots.txt? Какова его роль?

Исследователи (роботы), отправленные поисковыми системами, будут пытаться проиндексировать как можно больше информации на вашем сайте. Это их роль, я даже скажу их цель, мы ничего не можем поделать. С другой стороны, можно использовать определенные команды, чтобы разрешить или запретить определенные каталоги (папки) веб-сайта. Вы должны знать, что пауки (роботы) сначала идут, посмотрите на ваш .htaccess, затем определите наличие robots.txt и рассмотрите его, прежде чем продолжить индексацию. Это обязательный проход, они также запрограммированы на работу.

Robots.txt - это файл, который вы можете создать с помощью таких программ, как «Блокнот» или «Блокнот». Для идеального выполнения этот документ должен быть размещен в корне вашего сайта.

Теперь поговорим о его содержании. Этот файл содержит командные строки (грубо говоря, текст), которые должны соответствовать протоколу: RES (стандарт исключения роботов). Например, если вы хотите разместить на своем сайте полужирный текст через исходный код, вам нужно будет добавить пару или ввести теги . Если по бессознательности или по незнанию вы решите поставить метку, она не будет работать. Это обычно то же самое для Robots.txt и его протокола. Вы должны уважать лексику, предоставленную для этой цели, как для HTML или CSS. Простите мне это сравнение, но этот пример, по моему мнению, является лучшим способом объяснить RES, не вдаваясь в подробности. Этот файл будет содержать инструкции по каталогам, которые вы хотите разрешить, а также по категориям роботов, на которых вы хотите настроить таргетинг.

Для вашей информации, когда вы создаете веб-сайт, файл robots.txt создается автоматически (в большинстве случаев). Чтобы проверить его наличие, просто введите в строке URL следующий адрес: www.your-site.com/robots.txt

Зачем отказывать в доступе роботам?

Чтобы убедиться, что страницы вашего сайта учитываются механизмами индексации, в некоторых случаях вы можете отказаться от сканирования страниц. Вот несколько причин, по которым вы не можете разрешить доступ к определенным каталогам на вашем сайте:

• Конфиденциальные / личные страницы . Например, это может быть документ или PDF-файл, содержащий конкретные инструкции для людей, зарегистрированных на вашем сайте.
• Дубликаты страниц Вы не знакомы с каноническим и хотите во что бы то ни стало, сказать роботам, чтобы они не учитывали конкретную страницу. Предупреждение, настоятельно рекомендуется использовать тег rel = "canonical", чтобы указать роботам, самую важную страницу
• Страницы на обслуживании / в разработке
• Страницы без добавленной стоимости
• ...

Какова структура файла Robots.txt?

Я сделаю это просто и приведу конкретные случаи. Есть несколько способов деиндексации контента.

В большинстве случаев мы рекомендуем использовать robots.txt или тег noindex на рассматриваемых страницах. Подводя итог, можно сказать, что первое решение является фаворитом компьютерных ученых, второе - фаворитом шлюх (грубо говоря). Шутки о перемирии, для правильной интерпретации, файл должен соответствовать логике, которую я вам подробно опишу. Вот пример структуры для сайта WordPress:

Пользователь-агент: *

Disallow: /wp-login.php

Disallow: / wp-admin

Disallow: / wp-includes

Disallow: / wp-content

Разрешить: / wp-content / uploads

Disallow: * / trackback

Disallow: / * / кормить

Disallow: / * / комментарии

Disallow: / cgi-bin

Disallow: /*.php$

Disallow: /*.pdf$

Disallow: /*.css$

Disallow: /*.js$

Карта сайта: http://www.your-site.com/sitemap.xml

Карта сайта: http://www.your-site.com/sitemap.xmlgz

Начнем с указания, кому адресованы инструкции. Это называется « Пользователь-агент », то есть робот. Звездочка «*», которая следует, означает, что приведенные ниже инструкции адресованы всем роботам. Это быстрый и простой способ не упомянуть их всех.

Затем, как только мы определили робота, мы должны добавить инструкции (Разрешить индексировать и Запретить деиндексировать). Вот подробное объяснение каждой инструкции:

Disallow: /wp-login.php => Удалить страницу входа в пользовательский интерфейс WordPress

Disallow: / wp-admin => Удалить папку администратора, которая включает интерфейс администратора

Disallow: / wp-includes => Эта папка содержит ядро ​​CMS, она деиндексируется в 99,9% случаев

Disallow: / wp-content => Удалить папку, содержащую файлы настроек, плагины и изображения

Разрешить: / wp-content / uploads => Поскольку мы деиндексировали всю папку / wp-content выше, мы добавляем исключение для изображений, которые мы хотим разрешить, с помощью функции «Разрешить:».

Disallow: * / trackback => Блокировать пинги и обратные ссылки

Disallow: / * / feed => Блокировать RSS-каналы

Disallow: / * / comments => Заблокировать все комментарии

Disallow: / cgi-bin => Так как это конфиденциальный каталог сервера, мы предпочитаем заблокировать его для безопасности

Disallow: /*.php$ => Удалить все, что заканчивается на .php. Символ «$» указывает, что это конец URL

Disallow: /*.pdf$ => Удалить все, что заканчивается на .pdf

Disallow: /*.css$ => Удалить все, что заканчивается на .css

Disallow: /*.js$ => Удалить все, что заканчивается на .js

После того как вы определили свои рекомендации, вы можете указать адрес вашей карты сайта (сжатый и несжатый) в этой форме:

Карта сайта: http://www.your-site.com/sitemap.xml

Карта сайта: http://www.your-site.com/sitemap.xmlgz

Ввод адреса карты сайта не является обязательным требованием, но настоятельно рекомендуется автоматизировать восстановление карты сайта и избежать необходимости делать это с помощью инструментов, зарезервированных для веб-мастеров.

Теперь вы знаете, как читать файл robots.txt! Предупреждение, я советую вам повторно использовать идентичный контент robots.txt, найденный в Интернете, и применять его как есть на вашем собственном сайте. Действительно, некоторые сайты имеют свои особенности (иногда скрытые), которые могут потребовать индексации или блокировки для роботов, что не обязательно имеет место для вас. Лучше всего получать различные заказы в специализированных каталогах и использовать их в соответствии с вашими потребностями.

Обратите внимание, что можно протестировать работу файла robots.txt с помощью инструмента тестирования файлов, доступного в консоли поиска Google :

Я хочу уточнить, что инструмент Google анализирует ваш файл в соответствии с его роботами. Для других агентов необходимо будет перейти на соответствующие платформы.

Для людей, которые не знакомы с созданием этого файла, я предлагаю вам использовать генератор ,

Насколько robots.txt важен для вашего SEO?

Этот файл не является необходимым для правильного функционирования вашего сайта. По умолчанию, если в корневом каталоге вашего сайта нет файла robots.txt, роботы будут использовать материалы для изучения интересующих их ссылок. Тем не менее настоятельно рекомендуется использовать этот ресурс, если известно, какую важную роль он может сыграть, например, в дублировании содержимого. Не используйте его, как будто вы отказываетесь общаться с роботами поисковых систем (привилегия для некоторых). Вы должны знать, что в основе этот файл был разработан, чтобы запретить доступ роботам к определенным каталогам сайта. Сегодня robots.txt также позволяет паукам знать, где разместить карту сайта, что экономит время.

Также имейте в виду, что некоторые роботы (менее известные широкой публике) могут игнорировать ваш robots.txt!

Некоторые инструкции по использованию robots.txt

• Звездочка - это символ, который используется только для части «Пользователь-агент»
• Не рекомендуется размещать комментарии в файле robots.txt на риск того, что пауки будут сбиты с толку, или вы забудете место или другое
• Говоря о пробеле, не начинайте код с пробела. Начните прямо с «User-agent» вместо «User-agent»
• Всегда ставьте «User-agent» перед инструкциями Disallow / Allow
• Строго бесполезно использовать функции «Разрешить» в файле robots.txt, если только вы не добавите исключение из глобального запрета на каталог (см. Выше пример / wp-content)
• Имя этого файла должно быть написано: robots.txt. Любое опечатка помешает его работе
• Может быть только один robots.txt
• Файл robots.txt не предназначен для запрета доступа пользователей к сайту. Этот файл предназначен исключительно для роботов

Короче говоря, я предпочитаю слышать, как вы говорите, что у вас нет robots.txt, потому что вы игнорируете его существование, а не потому, что считаете его бесполезным ... Grrrr :) Теперь, когда вы знаете его полезность и его действие, мяч находится в твой лагерь. Надеюсь, вам понравилась эта папка, посвященная robots.txt.

В ожидании следующего файла SEO, не стесняйтесь, присылайте мне свои вопросы или предложения статьи!

Robots.txt: какую роль он играет для вашего SEO?

5 (100%) 9 голосов

Похожие

Комментарии