Файл robots.txt ўяўляе сабой просты тэкставы файл, які змяшчае правілы для індэксацыі вашага сайта. Файл robots.txt з'яўляецца інструментам для непасрэднага зносін з пошукавымі сістэмамі. Адным з найбольш распаўсюджаных відаў выкарыстання файла robots.txt, каб схаваць некаторыя часткі вашага сайта, якія могуць быць няпоўнымі або ў стадыі распрацоўкі ад пошукавых робатаў пошукавых сістэм. Гэта ў асноўным кажа Пошукавыя сістэмы, якая частка вашага сайта яны могуць сканаваць і якая частка не поўзаць. WordPress утрымлівае ў сабе віртуальны robots.txt. Такім чынам, нават калі ў вас няма файла robots.txt, пошукавая сістэма будзе па-ранейшаму індэксаваць ваш сайт. Аднак мець свой уласны файл robots.txt кіраўніцтва дае лепшы кантроль над рэчамі. У гэтым артыкуле мы пагаворым аб тым, як стварыць і аптымізаваць WordPress robots.txt для SEO.
Стварэнне файла robots.txt
- Проста стварыце тэкставы файл з імем robots.txt.
- Загрузіце яго з дапамогай FTP ў каранёвай тэчцы. Добрае правіла , каб захаваць файл robots.txt ў тым жа месцы, што і файл індэкса.
Настройка правілаў ўнутры robots.txt
Robots.txt мае свой уласны сінтаксіс для вызначэння правілаў , званых «дырэктывы».
Базавы сінтаксіс robots.txt
Нешматлікія тэрміны, якія вы павінны быць знаёмыя з пры напісанні правілаў.
- User-Agent - Вызначае пошукавы робат , як Googlebot, Bingbot і г.д.
- Disallow - інструктуе шукальніку не караскацца пэўныя файлы, старонкі або каталогі
- Зорачкай (*) - вызначыць універсальныя дырэктывы. Выбар ўсіх з іх
Файл robots.txt звычайна пачынаецца з імя агента карыстальніка. Затым варта дазволіць або забараніць інструкцыі ў наступным радку. Калі вы хочаце, каб заблакаваць усе пошукавыя робаты з усяго вашага сайта, вы павінны наладзіць robots.txt наступным чынам:
User-Agent: * Disallow: /
Аналагічным чынам, наступны код дазволіць толькі Google поўны доступ вашага сайта, дзе, як і ўсе іншыя сайты не дазваляецца поўзаць на вашым сайце.
User-Agent: Googlebot Disallow: User-Agent: * Disallow: /
дадатковы сінтаксіс
Вось яшчэ некалькі сінтаксіс:
- Дазволіць - Дазваляе поўзанне ботаў на сэрвэры
- Карта сайт - Скажыце сканеры , дзе ваша карта сайт пастаянна знаходзіцца
Дазволіць выкарыстоўваецца , калі хочуць , каб даць пошукавым сістэмам доступ да пэўных частках вашага сайта
User-Agent: * Allow: /wp-includes/my-file.php Disallow: / мой-уключае /
Прыведзены вышэй код дазволіць пошукавым робатам доступ толькі мой - файл. Файл , у маім - уключае ў сябе каталог. Вы таксама можаце дадаць звязаную карту сайта радкі ў файл robot.txt. Дырэктыва лінія карты сайта раскажа пошукавыя машыны, дзе знайсці карту сайта вашага сайта.
Карта сайта: карта сайта http://www.mustbeweb.com/sitemap_index.xml: Http: // www.mustbeweb.com /post-sitemap.xml карта сайта: HTTP: // www.mustbeweb.com /page-sitemap.xml карта сайта : Http: // www.mustbeweb.com /category-sitemap.xml Карта сайта: HTTP: // www.mustbeweb.com /post_tag-sitemap.xml
Заўвага: Карыснасць линковании XML карты сайта з вашага robots.txt з'яўляецца спрэчнай. Такім чынам, лепшы спосаб будзе дадаваць іх уручную ў вашых вэб-майстроў Google Tools і Bing. У нас ёсць суцэльныя раздзел артыкулаў аб Sitemaps, якія вы можаце прачытаць, каб даведацца больш пра файлах Sitemap.
Кіраўніцтва Ваш файл robots.txt для SEO
- Рэкамендуецца не выкарыстоўваць файл robots.txt, каб схаваць нізкая якасць ўтрымання.
- Не выкарыстоўвайце файл robots.txt, каб спыніць Google індэксаваць катэгорыі, дату і іншыя старонкі архіва
- Не трэба, каб дадаць старонку WordPress лагін, каталог адміністратара, ці старонку рэгістрацыі ў robots.txt, таму што WordPress ня дадалі ні індэксных тэг у якасці мета-тэгаў ўнутры гэтых старонак.
- Рэкамендуецца , каб вы забараніць readme.html файл у файле robots.txt. Забарона файла README , які хавае версію WordPress і абараняе вас ад гэтых масавых нападаў.
- Забараняе ваш WordPress ўбудовы каталог для ўмацавання бяспекі вашага сайта.
- Не выкарыстоўвайце каментары ў файле robots.txt.
- Не пакідайце прабел у пачатак адпаведных радкоў і не робяць звычайнае прастору ў файле.
Што робіць Ідэальны Файл robots.txt павінен выглядаць?
Вось прыклад файла robots.txt, які мы выкарыстоўваем на нашым сайце.
Карта сайта: http://www.mustbeweb.com/sitemap_index.xml User-Agent: * Disallow: / CGI-BIN / Disallow: / WP-адміністратара / Disallow: / WP-уключае / Disallow: / архіў / Disallow: *? replytocom Disallow: / каментары / падачы / User-агент: Mediapartners-Google * Allow: / User-Agent: Googlebot-Image Allow: / WP-ўтрыманне / дата загрузкі / User-Agent: Робат Adsbot-Google Allow: / User-Agent: Googlebot -Мобильный Allow: /
Настройка файла robot.txt з'яўляецца важным крокам для SEO. Тым не менш, забараняючы доступ да Google занадта шмат вашага сайта можа мець неспрыяльны эфект у выніках пошуку рэйтынгу. Сучасная тэндэнцыя да мінімальна наладзіць robots.txt. Акрамя таго, пераканайцеся, што ваш файл robots.txt настроены правільна. Калі ваш файл robots.txt няправільна сканфігураваны, ён можа быць цалкам праігнараваны пошукавых сістэм прыводзіць да поўнага знікнення вашага сайта з пошукавых сістэм. Так што ваш файл robots.txt павінен быць добра аптымізаваны і не павінны блакаваць доступ да важных частках вашага блога.
Robot.txt файл з'яўляецца дыскусійнай тэмай. не Там будзе не ўзгоднены стандарт для найлепшай практыкі, каб стварыць свой файл robots.txt з пункту гледжання SEO. Такім чынам, мы рэкамендуем вам стварыць свой уласны файл robots.txt ў адпаведнасці з вашымі патрабаваннямі.
Наступныя дзве ўкладкі змяніць змест ніжэй.
Kantiman Баджрачарии з'яўляецца свабодным вэб-распрацоўшчык. Ён з'яўляецца кампутарным гікам, які мае ступень бакалаўра ў галіне вылічальнай тэхнікі. Ён зарабіў шмат задаволеных кліентаў, працуючы на шматлікіх паспяховых праектаў. Ён таксама з'яўляецца WordPress тэма стваральнік і вэб-аўтар артыкула. У вольны час ён любіць чытаць кнігі па філасофіі, падарожнічаць і гуляць у шахматы.
Txt павінен выглядаць?Xml User-Agent: * Disallow: / CGI-BIN / Disallow: / WP-адміністратара / Disallow: / WP-уключае / Disallow: / архіў / Disallow: *?
