- Што такое robots.txt?
- Як стварыць файл robots.txt?
- Якія інструкцыі вы б даць яму?
- User-агент Disallow і Allow
- Перавагі і недахопы robots.txt для вашай пошукавай аптымізацыі (SEO)
- Тэставанне з дапамогай Google
- Нарэшце, некаторы увагу
Што вы думаеце аб гэтым артыкуле?
(Сярэдні. 3.8 / 5)
Файл robots.txt з'яўляецца вельмі важным спосабам сказаць Google, што яны могуць і не могуць атрымаць доступ. У дадатак да Google падтрымлівае ўсе асноўныя пошукавыя сістэмы, асноўныя функцыянальныя магчымасці гэтага файла інструкцыі. Яго выкарыстанне зманліва проста, і ў гэтым артыкуле вы можаце прачытаць, што вы можаце рабіць з ім. Але будзьце асцярожныя: адна памылка, і вы можаце быць праіндэксаваныя няправільна.
Што такое robots.txt?
Файл робатаў ўяўляе сабой тэкставы файл, які (праз FTP), размешчаны ў каранёвым дамене. У файле ёсць строгія інструкцыі, прызначаныя для пошукавых робатаў, такіх як Google. Калі Google прыходзіць на вашым сайце, сканер выглядае першым, калі ёсць файл robots.txt. Гусенічная затым вызначае, якія старонкі наведваюць ваш сайт і індэксуюцца Google.
Вы бачыце ўжо, гэты файл можа быць важным у вашай пошукавай аптымізацыі. У рэшце рэшт, часам вы хочаце старонкі або часткі не знойдзеныя на вашым сайце з дапамогай Google. Чытайце пра гэта у гэтым артыкуле Я ўжо пісаў раней. Дарэчы, шкоднасныя Шукальнікі шукае дзіркі ў бяспецы, ігнараваць файл даведкі.
Вы можаце:
- Пошукавыя сістэмы забараніць доступ да пэўных раздзелах
- Пазбягайце дублявання кантэнту
- Пошукавыя сістэмы для эфектыўнай поўзаюць ваш сайт.
Як стварыць файл robots.txt?
стварыць файл robots.txt лёгка. Вы адкрываеце нататнік праграму, і вы можаце даць інструкцыі. Затым захавайце файл у ніжнім рэгістры (robots.txt), а не капіталу (robots.txt, robots.txt). Затым устаўце тэкставы файл у каранёвым (корані) ваш дамен, як правіла, праз FTP. Звычайны каранёвай каталог /www/jedomeinnaam.nl або public_html.
Пошукавыя сістэмы знайсці свой файл robots.txt з дапамогай https://www.jedomeinnaam.nl/robots.txt
акрамя таго, заўсёды выкарыстоўвайце robots.txt, нават калі ён пусты (і Шукальнік ўсё дазволена наведваць). Вы можаце трафік, памылкі 404 (не знойдзена) і захоўваць працяглыя файлы часопіс памылак пры загрузцы файла robots.txt. Змесціце гэта так проста, як гэта патрабуе некаторых тэхнічных ведаў. (Наш сайт кліентаў мы вызваляем: мы заўсёды ставім свой robots.txt).
Якія інструкцыі вы б даць яму?
Зараз у вас ёсць файл robots.txt, і вы ведаеце, як змясціць яго на свой сайт. Але якія інструкцыі вы даеце яму.
User-агент Disallow і Allow
Агент карыстальніка гэтае імя пошукавай сістэмы наведае вас. Disallow азначае інструкцыі праз файл robots.txt, каб выключыць раздзелы вашага сайта. Googlebot мае таксама правілы ўключэння. Такім чынам, неабходна паказаць, якія файлы могуць увайсці ў індэкс. Вы можаце выкарыстоўваць Дазволіць.
- Прыклад: Вы хочаце, каб шукальнік можа наведаць любую старонку. Вось інструкцыя:
Robots.txt: Google дапаможа наведаць ваш сайт
Агент карыстальніка: *
Disallow: /
Лінія User-Agent: * паказвае на тое, што інструкцыі дастасавальныя да ўсіх сканарам і лініі Disallow: / паказвае на тое, што шукальнік павінен наведаць любую старонку. Не забывайце выкарыстоўваць касую рысу.
- Прыклад: Вы хочаце, каб шукальнік можа наведаць усе файлы ў каранёвай тэчцы і падтэчку. Гэтую заяву:
Агент карыстальніка: *
Disallow:
- Прыклад: Вы хочаце гусенічныя файлы скачуць у пэўных папках. Гэтую заяву:
Агент карыстальніка: *
Disallow: / CGI-BIN /
Disallow: / TMP /
Disallow: / малюнкаў /
У гэтым прыкладзе, вы не можаце дазволіць тэчку малюнкаў, TMP і CGI-BIN індэксуюцца. Файлы ў іншых тэчках можна наведаць, хоць.
- Прыклад: Вы хочаце, каб выключыць некаторыя шкоднасныя праграмы ботаў. Гэта (прыклад) інструкцыя:
Агент карыстальніка: BadBot
Disallow: /
У гэтым выпадку BadBot выключаецца. Любыя іншыя гусенічны мае доступ.
- Прыклад: Вы хочаце, каб Google дадзены канкрэтныя інструкцыі. Гэта (прыклад) інструкцыя:
Агент карыстальніка: Google
Disallow: /underconstruction.html
У гэтым прыкладзе, вы не дазваляеце Google, каб наведаць файл underconstruction.html.
- Прыклад: Вы хочаце, каб некаторыя WordPress файлаў пэўным чынам (не) дазваляюць наведванне. Гэта найбольш распаўсюджаная каманда для сайтаў WordPress:
Disallow: / WP-адміністратара /
Дазволіць: /wp-admin/admin-ajax.php
Дарэчы, калі вы Disallow: / WP-адміністратара / выкарыстоўваецца, разумеюць, што гэта мае абмежаваную каштоўнасць. Запыт Inurl: смецце-адмін любіць зламысны людзьмі, каб знайсці свой сайт (лагін) у любым выпадку.
- Прыклад: Вы хочаце, каб даць доступ Google да каталога толькі PDF-файлы, але і іншыя тэчкі.
User-Agent: Googlebot
Disallow: /
Дазволіць: / PDF /
- Прыклад: Вы хочаце, каб зрабіць некаторыя фільтры, што можа і не можа быць наведваючы. Гэта можа быць карысна, напрыклад, для прадаўцоў:
# Фільтры
Disallow: / * памер =
Disallow: / * = categoriel
Disallo: / * PC аксэсуары =
Перавагі і недахопы robots.txt для вашай пошукавай аптымізацыі (SEO)
Кожны сайт мае «надбаўку» з ліку старонак пошукавай сістэмы колавай. Калі блакаваць пэўную вобласці, вы можаце выкарыстоўваць гэтую дапамогу на іншыя раздзелы. Гэта можа быць карысна для тых месцаў, якія вы хочаце ачысціць SEO.
Недахоп заключаецца ў тым, што не можа даваць ўказанні файла robots.txt вашаму Google не паказваць пэўныя URL-адрас у выніках пошуку. Гэта азначае, што robots.txt можна абыйсці Google. Напрыклад, калі шукальнік дастаткова (вонкавы) і спасылкі на пэўную старонку на вашым сайце, гэта будзе толькі адлюстроўвацца ў Google.
Тэставанне з дапамогай Google
вы можаце robots.txt інструмент тэстар Выкарыстоўвайце Google, каб убачыць, як Google наведвае ваш сайт.
Нарэшце, некаторы увагу
Наступныя пункты часта забываюць, калі вы маеце справу з robots.txt, каб працаваць для SEO.
- Кожны можа ў файле robots.txt. Так як файл з'яўляецца агульнадаступным, пераканайцеся, што вы захаваць любую асабістую або канфідэнцыйную інфармацыю. Папкі / таямніца / таямніца / увайсці ў сістэму лепш не ўключаць у тэкставы файл
- Robots.txt не з'яўляецца абавязковым: Калі вы не ведаеце, як жыць у файле даведкі, зрабіць гэта самастойна і аплаціць яго.
- Знешнія спасылкі могуць ігнараваць інструкцыі. Калі іншыя сайты спасылаюцца на частку вашага сайта, вы выключаў індэкс Google можа яшчэ.
- Sitemaps вы можаце ўключыць у свой robots.text, але гэта лепш, каб дадаць іх уручную праз Google Search Console. Вы не залежыць ад часу, калі шукальнік прыходзіць на ваш сайт: вы можаце атрымаць па інструктаваць сам Google зноў.
- Будзьце асцярожныя з адпаведнымі інструкцыямі, але не бойцеся выкарыстоўваць яго.
- таксама чытайце рэкамендацыі Google, аб файлах robots.txt ,
- Robots.txt ў асноўным працуе ў фонавым рэжыме. Мета-робаты дапамагаюць робатам на старонцы з інструкцыямі і паказальным / метатега noindex і прытрымлівацца / NoFollow. Як гэта працуе сапраўды гэтак жа, прачытайце гэтую артыкул ,
Txt?
Якія інструкцыі вы б даць яму?
Txt?
Txt?
Якія інструкцыі вы б даць яму?
