- Что такое robots.txt и для чего он используется?
- Как создать robots.txt и его синтаксис
- Подстановочный знак *
- Подстановочный знак $
- Персонаж #
- примеров
- чаевые
- Распространенные ошибки
- Расширенное использование: Google и бюджет сканирования, который и почему мы должны заботиться
- И это почему это имеет значение для вас?
- Что мы можем сделать, чтобы лучше управлять нашим бюджетом сканирования, лучше отслеживать определенные...
Если вы научитесь правильно управлять файлом robots.txt и другими способами управления страницами, отслеживаемыми роботами поисковых систем, у вас может быть дополнительное преимущество перед конкурентами ... что, безусловно, не так!
Что такое robots.txt и для чего он используется?
Robots.txt - это файл, который отвечает за указание «роботам» инструкций о том, какой контент вы хотите отслеживать, а какой нет . Эти роботы являются программами, созданными для сбора веб-страниц, и иногда их называют другими способами, такими как сканеры, боты или пауки. 
Когда робот посещает сайт, сначала убедитесь, что существует файл robots.txt, чтобы узнать, какие страницы вы можете посетить, а какие нет.
Как создать robots.txt и его синтаксис
Чтобы создать файл robots.txt, вы можете использовать любой текстовый редактор, такой как блокнот, вы должны следовать определенному синтаксису, и в конце вы должны загрузить его в корневой каталог сайта.
ГЛАЗ, в корне!
Если ваша домашняя страница находится по адресу http://www.dominio.com/un/directorio/index.html, не размещайте ее по адресу http://www.dominio.com/un/directorio/robots.txt, перейдите по адресу http : //www.dominio.com/robots.txt
Общий синтаксис для использования:
Пользовательский агент: имя бота Политика: содержание директивы Карта сайта: http://www.domain.com/sitemap.xml
Возможные директивы, которые будут использоваться:
Disallow Сообщает ботам не отслеживать указанный файл или каталог. С помощью * вы указываете, что не хотите, чтобы Allow Указывает ботам, что они ДОЛЖНЫ отслеживать указанный файл или каталог. Обычно он используется в сочетании с Disallow, если вы хотите избежать отслеживания каталога, но включите его на некоторых страницах этого конкретного каталога. Crawl-delay Сообщает ботам, сколько секунд они должны ждать между каждым запросом к одному и тому же сайту. Карта сайта Служит для указания, где находится карта сайта (XML) вашего сайта Noindex Это поддерживается только (не официально) Google. Указывает, какие файлы или каталоги НЕ ХОЧУ УКАЗАТЬ.
Почему Noindex существует, если у вас есть Disallow?
Потому что использование Disallow НЕ ГАРАНТИРУЕТ, ЧТО УКАЗАННЫЕ ФАЙЛЫ НЕ БУДУТ УКАЗАНЫ . Это только указывает на то, что страница не должна отслеживаться, но если бот находит ссылки на вашу страницу по другим ссылкам, вы можете проиндексировать ее. На самом деле, страницы, запрещенные robots.txt, могут накапливаться PageRank ,
Черт, думаю, я еще раз подчеркну это, потому что, похоже, каждую неделю я нахожу новую статью о том, «как оптимизировать ваш robots.txt, чтобы она появлялась первой в google и как ваша конкуренция» (или что-то подобное, чтобы выиграть клики, которые не выполняет то, что обещает), где они гарантируют, что с помощью Disallow вы избегаете индексирования.
Использование директивы Disallow: в файле Robots.txt НЕ ГАРАНТИРУЕТ, что контент не будет проиндексирован
Чтобы проверить это мы можем искать в Google: Inurl: Com / WP-Admin / включает в себя
Будет несколько результатов, в описании которых будет сказано: «Описание этого результата недоступно из-за robots.txt».
Это результаты, заблокированные файлом robots.txt, но они были проиндексированы. Будучи заблокированными этим файлом, боты не могут зайти на страницу, чтобы «прочитать» ее, поэтому появляется описание.
Другие аспекты, которые необходимо учитывать:
Подстановочный знак *
Символ * может использоваться в качестве подстановочного знака в двух ситуациях:
- В User-agent указать, что следующие директивы применяются ко всем ботам.
- В Disallow, Allow или Noindex для обозначения «шаблонов» символов
Подстановочный знак $
Он используется в директивах Disallow и Allow и указывает, что документы, заканчивающиеся этими символами, не должны отслеживаться
Персонаж #
Эта особенность позволяет нам создавать комментарии, которые будут игнорироваться ботами, но будут видны пользователям.
примеров
Блокировать всех ботов от сканирования всего сайта
Пользователь-агент: * Disallow: /
Блокировать доступ всех ботов к определенной директории и документу
Агент пользователя: * Disallow: / private-directory / Disallow: / private-page.html
Блокировка доступа к изображению бота Google в каталоге
Пользовательский агент: Googlebot-Image Disallow: / private-images /
( Вы можете увидеть список существующих ботов здесь )
Блокировать доступ ко всем URL-адресам с параметрами стиля: Order_by, Sort, Id и т. Д.
User-agent: * Disallow: / *? *
Блокировать доступ к PDF-файлам
Пользователь-агент: * Disallow: /*.pdf$
Разрешить доступ ко всем ботам и указать карту сайта
Пользователь-агент: * Disallow: Карта сайта: http://www.dominio.com/sitemap.xml
Более сложный пример:
- Заблокируйте доступ ко всем ботам в личный каталог, к файлам каталога и к файлам .txt
- Разрешить ботам Google, Bing и Yahoo получить доступ к каталогу поиска в личном каталоге и файлам каталога
- Разрешить боту Google мобильный доступ к мобильному каталогу в частном каталоге и к файлам каталога
- Блокировка доступа бота Xenu ко всему сайту
- Укажите ботам карту сайта sitemap_index.xml
Пользовательский агент: * Disallow: / private / Disallow: / files / Disallow: /*.txt$ User-agent: Googlebot-Mobile Disallow: / private / Allow: / private / mobile / Disallow: /*.txt$ #Al опустить Disallow: / files / мы даем доступ к этой папке # При блокировании доступа к Googlebot мы блокируем доступ к # другим ботам, таким как Googlebot-Image и Googlebot-News. Пользовательский агент: Googlebot Пользовательский агент: Bingbot Пользовательский агент: Slurp Disallow : / private / Разрешить: / private / поисковые системы / Disallow: /.txt.txt Пользовательский агент: Xenu Link Sleuth / 1.3.7 Disallow: / Карта сайта: http://www.dominio.com/sitemap_index.xml
В общем случае:
- Запретить / совпадения с seo: / seoabc, /seo.html, / seo /, / seo / abc / ...
- Запретить / seo / совпадения: / seo /, / seo / def / ...
- Запретить / * seo совпадения: / seo, / 123seo /, / 123 / 456seo ...
- Запретить / seo * abc совпадения: / seoabc, / seoabc /, / seo123abc ...
- Disallow / seo $ только совпадения: / seo
- Disallow / * seo $ соответствует: / seo, / 123 / seo ... Но это не соответствует / 123 / seo / def
чаевые
Имя файла должно быть robots.txt, все в нижнем регистре.
- У вас должен быть файл robots.txt по доменам и каждому поддомену. Файл robots.txt из http://www.dominio.com /robots.txt не относится к http://subdomnio.dominio.com.
- Вы даже должны иметь один для каждого порта и протокола, то есть: http://www.dominio.com /robots.txt не относится к http://www.dominio.com:8080.
- Если вы не заинтересованы в блокировании доступа ботов к частям вашего сайта, в любом случае создайте файл robots.txt, содержащий следующее: User-Agent: * Disallow:
Хотя это поведение ботов по умолчанию (старайтесь отслеживать все, что они могут с сайта), лучше иметь на сайте файл robots.txt , в противном случае некоторые боты могут интерпретировать отсутствие файла как ошибку 404.
- Между каждой группой политик для конкретного пользовательского агента предпочтительно должен быть хотя бы один разрыв строки.
- Если вы установите общие директивы для всех роботов (User-agent: *), а затем установите директивы для конкретного робота, например Bingbot, то Bingbot будет подчиняться только этим директивам, а не общим .
- ОБНОВЛЕНИЕ: 27 октября 2014 обновлены руководящие принципы для веб-мастеров, добавив это:
Чтобы Google полностью понимал содержание вашего сайта, вы должны разрешить отслеживание всех элементов вашего сайта, таких как файлы CSS и JavaScript.
Так что лучше не избегайте доступа роботов к папкам, в которых у вас есть CSS и файлы Javascript 😉
Распространенные ошибки
- Указания в файле robots.txt не являются приказами для всех роботов , особенно те, которые отвечают за сбор сообщений электронной почты для последующей отправки спама, или те, которые пытаются обнаружить уязвимости безопасности на сайте, будут игнорировать указания этого файла.
- Очень плохая идея - включить в этот файл разделы вашего частного сайта, о которых вы не хотите, чтобы они были доступны широкой публике, поскольку этот файл является общедоступным.
- Очень распространенной ошибкой является неправильное использование подстановочного знака. Имейте в виду, что если у вас есть такая директива: Disallow: / priv
Вы также избегаете доступа ко всему, что содержит символы «priv», например: / private /, /privilegios-en-linux.html, / non-private directory / и так далее.
Расширенное использование: Google и бюджет сканирования, который и почему мы должны заботиться
Количество страниц, просмотренных Google с вашего сайта, зависит в основном от того, сколько у вас PageRank , и это зависит от количества входящих ссылок. Это известно как бюджет обхода (можно перевести как бюджет отслеживания ).
Обычно страница с большим количеством ссылок на сайте является домашней страницей, и именно здесь бот Google начинает сканировать ваш сайт. На этой домашней странице есть ссылки на другие страницы «второго уровня» на вашем сайте, и бот отслеживает эти страницы. Эти страницы второго уровня, в свою очередь, ссылаются на других «третьего уровня» и так далее ...
Однако чем больше вы заходите на сайт, тем меньше PageRank, поэтому чем больше «внутренних» страниц, тем меньше PageRank и, следовательно, отслеживается меньше раз.
И это почему это имеет значение для вас?
Потому что чаще всего отслеживаются страницы, которые лучше позиционируют себя. Если у вас есть страницы, которые не получают много трафика, вы можете заставить их получать больше посещений, если вам удается отслеживать чаще.
И если ваш сайт новый или имеет мало входящих ссылок, вы не можете позволить себе иметь дублирующийся контент или контент низкого качества.
Если на вашем сайте много дублирующегося контента, вы потратите часть своего бюджета сканирования на страницы, которые Google в конечном итоге будет игнорировать. С другой стороны, если у вас много контента, который Google считает низким качеством, вы можете считать, что весь ваш сайт имеет низкое качество и отслеживать меньше страниц вашего сайта, чем следовало бы, поэтому у вас будет меньше шансов позиционирования . Не говоря уже о том, что Панда может пойти за тобой ...
Что мы можем сделать, чтобы лучше управлять нашим бюджетом сканирования, лучше отслеживать определенные страницы и спасти мир?
Используйте файл robots.txt эффективно
Предотвратите бота Google от отслеживания страниц, которые вы, возможно, не хотите отслеживать, и вы можете сохранить что-то из своего бюджета сканирования. Например, страницы с параметрами в URL-адресах или «печатные» версии ваших страниц.
Внутренние ссылки
Это очень простой способ направить ботов, чтобы они могли сканировать больше определенных страниц вашего сайта. Это очень просто, но в течение многих лет использовалась другая тактика, но многие сайты до сих пор не используют ее.
Например, на боковой панели разместите небольшой баннер с объявлением о статье или странице, которую вы хотите рекламировать . Это, безусловно, увеличит количество раз, которое боты будут отслеживать эту страницу.
Архитектура вашего сайта
В идеале любая страница вашего сайта доступна с любой другой страницы ... в 3 клика или меньше. Это связано с тем, что не весь трафик, поступающий от поисковых систем, достигает начальной страницы, поэтому вы должны убедиться, что они достигают страницы, на которую приходят пользователи, и что боты могут перейти на любую другую страницу сайта с наименьшим количеством кликов.
Создать карты сайта
И я говорю не о карте сайта в формате XML, которую вы отправляете поисковым системам ... но о карте сайта (или нескольких, если ваш сайт большой) в формате HTML . Здесь отдайте предпочтение интересующим вас страницам и разместите их раньше.
Знаете ли вы уже о различном использовании файла robots.txt? Это то, что я видел, что многие люди еще плохо справляются.
Я даже сталкивался с некоторыми "сайтами SEO", которые предоставляют пользователям примеры файлов robots.txt для загрузки и использования ... с ошибками 😛
Похожие
Почему мы потеем?... идите за столом, наслаждаясь вкусной едой, и неосознанно кусаете перец чили. Не двигая никакими конечностями, оставаясь сидеть с зажженным ртом, вы вспыхиваете. Вы стираете пот, думая, что кондиционер сломался. На следующий день вы решили взять собаку на неторопливую прогулку, и в конце часа, после того, как перестанете общаться с друзьями, которых встретили по пути, вы окажетесь в поту, таким образом чувствуя себя довольными своими интенсивными физическими усилиями. Что такое SEO? Для чего это?
SEO - поисковая оптимизация - это набор методов, направленных на то, чтобы сделать сайты более удобными для поисковых систем (Google, Bing, Yahoo и т. Д.). Благодаря целенаправленному планированию ключевых слов по всему контенту сайта вы можете добиться лучших позиций в органических результатах. По сути, методы SEO направлены на позиционирование сайта на видных позициях в органических результатах в поисковых системах. Под органическими Определение маркетинга - что это такое, значение и понятие
Маркетинг - это английское понятие, переводимое на испанский как маркетинг или маркетинг. Это о дисциплина посвящен анализу поведения рынков и потребителей. Маркетинг анализирует коммерческое управление компаниями с целью привлечения, удержания и удержания клиентов путем удовлетворения их потребностей. Что такое SEO часть 2
Итак, теперь мы получаем суть Что такое SEO часть 1 это следующий шаг к пониманию тонкостей в Что такое SEO часть 2. Это требует лучшего понимания ссылок и обратных ссылок и важности ключевых слов в фактическом тексте, используемом для ссылки или обратной ссылки. Надо сказать, что это наиболее трудоемкий аспект SEO и не для слабонервных! Вот почему у нас есть специалисты Что такое A / B-тестирование? Что можно проверить и как?
A / B-тестирование - это тестирование двух разных версий веб-страницы или целевой страницы. В таком тесте проверяется производительность каждой страницы с точки зрения продаж, регистрации и т. Д. После создания разных версий трафик (посетители сайта) случайным образом распределяется по этим страницам в течение определенного периода времени. При случайном распределении трафика можно проанализировать, какая сторона имеет более высокую скорость передачи ( Что мы можем узнать из проблем Netflix в Google?
... истрикс опубликовал статью о том, как Netflix потеряла большую популярность в Google на всех рынках, которые важны для этой популярной платформы потокового видео. В Испании его видимость в SEO упала на 39%, но Соединенное Королевство на 71% меньше, Соединенные Штаты упали на 64%, Франция на 49%, Италия на 43% и Германия на 39%. Но падение было недолгим, потому что Netflix смог оправиться от этой потери за неделю. Возможно, проблемы еще не закончились, и Netflix должен продолжать улучшать Новая политика Google для файла robots.txt
Файл robots.txt является первым прочитанным файлом веб-сканера (робота). Он расположен в корневом каталоге домена. Этот файл можно использовать, чтобы указать, может ли веб-страница посещать веб-сканер и каким образом. Таким образом, владелец сайта может заблокировать определенные каталоги для поисковых систем. Новое: чтобы Google полностью интерпретировал содержимое вашего сайта, разрешите сканировать все ресурсы вашего сайта, такие как файлы CSS и JavaScript, и не блокируйте их. (Это Что такое Google Пингвин?
За последние 5 лет мы многое узнали о Google Penguin. Некоторые называют это «обновлением», другие называют это «изменением», «штрафом», «действием» или даже «алгоритмическим сдвигом». Как бы вы ни назвали это, Google Penguin изменил наш взгляд на результаты поиска Google, и как мы, как SEO, делаем свою работу. Обновление Google Penguin предназначено для веб-сайтов и SEO-специалистов, которые использовали черные Что такое администрация домена (DA)?
Оценка авторитета домена - не новая фраза в мире SEO, но есть много блогеров, которые не знают о авторитете домена и его значении. Ниже приведено подробное руководство, в котором вы узнаете, что вам нужно знать о «полномочиях домена» (в том числе о том, как проверить оценку авторитета вашего домена!), А также некоторые дополнительные связанные термины, которые важно понять. Авторитет домена является одним из основных факторов, определяющих, насколько хорошо ваш сайт будет Почему SEO вообще? Мы уточняем!
Для операторов веб-сайтов, конечно, в зале есть законный вопрос: почему SEO? Каковы преимущества привлечения клиентов по сравнению с результатами поиска Google и чем они отличаются? Стоимость SEO по другим онлайн каналам? Услуги и продукты все чаще ищут в Интернете. Как компания без веб-сайта, вы почти проиграли в наши дни. Но что хорошего в отличном интернет-присутствии, если вас не найти в Интернете среди миллиардов Почему вы должны получить сертификат Google Analytics и Google AdWords
... истек срок действия моих сертификатов Google Analytics и Google AdWords. После сдачи экзаменов и получения сертификата я вдохновился написать этот блог, в котором объясняется, почему вы должны быть сертифицированы Google. Важность наличия опыта Google Analytics и Google AdWords становится все более актуальной, поскольку компании ищут способы добиться успеха в Интернете. Особенно в отрасли, в которой мы находимся, мы не можем просто игнорировать эти цифровые инструменты: мы должны использовать
Комментарии
Само собой разумеется, что мы должны подвергать сомнению то, что мы потребляем, но как мы можем быть критическими?Само собой разумеется, что мы должны подвергать сомнению то, что мы потребляем, но как мы можем быть критическими? Вот три простых способа ежедневного поиска контекста, которые помогут вам как в роли маркетолога, так и в вашей жизни в целом. Ищите больше, чем укусы Цитаты, будь то устные или письменные слова, являются мощными. Цитаты - это то, что люди помнят из речи, публикации, трансляции новостей и других средств массовой информации. Во многих случаях цитаты Вслед за недавним видео Мэтта Каттса, в котором говорится, что «Google считает SEO« НЕ »спамом», - почему вы думаете, что люди считают его спамом, и что бы вы сказали, чтобы его успокоить?
Вслед за недавним видео Мэтта Каттса, в котором говорится, что «Google считает SEO« НЕ »спамом», - почему вы думаете, что люди считают его спамом, и что бы вы сказали, чтобы его успокоить? У SEO есть черный глаз в мире интернет-маркетинга. Долгое время его считали «черным искусством», потому что люди просто не понимают, как оно работает. Google был очень скрытным с самого начала и до сих пор. Трудно понять, что работает и почему это работает. Когда-то люди думали, Как понять, что работает на сайте и как мы можем его оптимизировать?
Как понять, что работает на сайте и как мы можем его оптимизировать? Экстраполируя данные, других решений нет. Сетка данных, которую необходимо заполнить скрупулезными исследованиями, - это, по сути, то, что нам преподносят лучшие учебные пособия и курсы веб-маркетинга. Если вы боретесь с сайтом, созданным и управляемым без этих допущений, измените свой подход снова! Пост на эту тему, который включает в себя контрольный список и многочисленные экономические и маркетинговые анализы, Как говорят люди, лучше уходить, когда люди все еще хлопают, разве это не было правильным, чтобы мы ушли, прежде чем мы стали старше?
Как говорят люди, лучше уходить, когда люди все еще хлопают, разве это не было правильным, чтобы мы ушли, прежде чем мы стали старше? Разве не правильно пробовать то, что мы хотели попробовать, пока не стало слишком поздно, даже если это не было чем-то большим или даже если это было сложно? Я сказал, что буду следовать ее решению. Я думал, что если бы она сделала это, я бы сделала это. Если бы она этого не сделала, я бы не смог этого сделать. Она поговорила с нашим агентством, и это было правильно, Какой самый эффективный способ сообщить клиенту, что его веб-сайт плох, и должен доверять вашим рекомендациям, чтобы сделать его лучше?
Какой самый эффективный способ сообщить клиенту, что его веб-сайт плох, и должен доверять вашим рекомендациям, чтобы сделать его лучше? Я не занимаюсь такой работой с клиентами, поэтому не лучше отвечать. Вообще, я был бы честен. Они наняли вас, чтобы сделать работу. Скажите им, что вы даете им это прямо. Если они не хотят принимать ваше сообщение, это хорошее раннее предупреждение, это не тот клиент, с которым вы хотите иметь долгосрочные На мой взгляд, это в основном выбор владельца форума: хочет ли он сохранить целую историю - в принципе, или он предпочитает быть прагматичным и убирать все, что не имеет шансов его заинтересовать?
На мой взгляд, это в основном выбор владельца форума: хочет ли он сохранить целую историю - в принципе, или он предпочитает быть прагматичным и убирать все, что не имеет шансов его заинтересовать? мир в будущем? Другая проблема - время, которое требуется ... Я начал делать это на WebRankInfo, но с 2002 года с 1,5 миллионами сообщений "очистка" занимает много времени ... Есть ли у страницы хорошая внутренняя сеть? Во всех проведенных мною проверках я заметил, Кто первым должен увидеть нас - это Google, так почему бы не сделать это проще?
Кто первым должен увидеть нас - это Google, так почему бы не сделать это проще? В связи с этим, Google не будет беспокоиться, если у вас есть розовый или фиолетовый веб-сайт, будет иметь значение, если ваш «робот» сможет правильно прочитать код. Ну, и вы скажете, отлично, я собираюсь уловить этот вопрос о веб-позиционировании, но какие методы используются внутри и снаружи сети для улучшения позиционирования? Это о черной магии? Если вам действительно интересно это, То есть, если Google не объясняет открыто, как работает их алгоритм, можем ли мы просто сказать на основе корреляции, что длина текста является фактором ранжирования или нет?
То есть, если Google не объясняет открыто, как работает их алгоритм, можем ли мы просто сказать на основе корреляции, что длина текста является фактором ранжирования или нет? В этом случае я думаю, что да. Но соответствующая корреляция также заметна, например, с отношением Текст / HTML, и многие SEO-ботаники, включая меня, полагают, что это будет фактором ранжирования. Более подробный анализ этих двух факторов Факторы, связанные Само по себе это не проблема, но что произойдет, если предыдущий посетитель добавил эту страницу в закладки, чтобы вернуться только для того, чтобы узнать, что страница не существует сейчас?
Само по себе это не проблема, но что произойдет, если предыдущий посетитель добавил эту страницу в закладки, чтобы вернуться только для того, чтобы узнать, что страница не существует сейчас? Один из способов борьбы с потерей этих типов постоянных посетителей - перенаправить страницу со старым продуктом на более релевантный продукт в вашем магазине. Это может помочь подавить клиентов и уменьшить Это не потому, что у них больше всего ссылок, а потому, что их заголовок очень прост: « Что такое SEO?
Само по себе это не проблема, но что произойдет, если предыдущий посетитель добавил эту страницу в закладки, чтобы вернуться только для того, чтобы узнать, что страница не существует сейчас? Один из способов борьбы с потерей этих типов постоянных посетителей - перенаправить страницу со старым продуктом на более релевантный продукт в вашем магазине. Это может помочь подавить клиентов и уменьшить Итак, каковы некоторые распространенные ошибки SEO, которые причиняют вам боль - ошибки, которые могут испортить ваши усилия и поставить вас в черный список Google?
Итак, каковы некоторые распространенные ошибки SEO, которые причиняют вам боль - ошибки, которые могут испортить ваши усилия и поставить вас в черный список Google? Вот некоторая ошибка, чтобы избежать: Заполнение ключевыми словами : важность использования ключевых слов в вашем контенте и на веб-сайте никогда нельзя переоценить. Но это НЕ означает наполнение ключевыми словами. Прошли дни, когда заполнение ключевых слов было самым простым
Txt и для чего он используется?
Txt и для чего он используется?
Почему Noindex существует, если у вас есть Disallow?
User-agent: * Disallow: / *?
И это почему это имеет значение для вас?
Что мы можем сделать, чтобы лучше управлять нашим бюджетом сканирования, лучше отслеживать определенные страницы и спасти мир?
Txt?
Что такое SEO?
Для чего это?
Что можно проверить и как?
