robots.txt є файлом, що спеціально підібрані для пошукових систем. У ньому вказується, які частини сайту потрібно видавати в пошуку, а які ні. Важливість robots.txt неоціненна, тому що він дозволяє націлити пошукову систему на потрапляння потрібного контенту сайту у видачі результатів. Наприклад, при запиті в Гуглі «купити пральну машину» кінцевого покупця нема чого потрапляти на сторінку адміністрування магазину. У цьому випадку без сумніву важливо буде користувачеві перейти відразу в розділ "Пральні машини".
Як додати robots.txt на сайт?
Якщо Ви використовуєте плагін Clearfy - просто виставте галочку навпроти Створити правильний robots.txt в розділі SEO на сторінці налаштувань плагіна. Нічого вставляти з цієї статті Вам не потрібно, все реалізовано в плагіні.
Додати файл можна декількома способами. Найбільш зручний для користувача - по FTP. Для цього необхідно створити сам файл robots.txt. Потім, скориставшись одним з FTP-клієнтів (наприклад, FileZilla), завантажити robots.txt в кореневу папку сайту (поряд з файлами wp-config.php, wp-settings.php) Слід зазначити, що перед завантаженням файлу потрібно дізнатися у Вашій хостинг -компанії IP-адреса, за яким закріплений Ваш сайт, ім'я FTP-користувача і пароль.
Після успішного завантаження robots.txt, перейшовши за адресою http://sitename.com/robots.txt, Ви зможете подивитися актуальний стан файлу.
Важливим є той факт, що, змінивши файл robots.txt, ви не відразу помітите результати. Для цього може знадобитися від одного до декількох місяців (це залежить від пошукової системи). Знову ж правильним варіантом є складання коректного файлу вже на стадії розробки сайту.
Приклад коректного robots.txt
User-agent: * Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-json / Disallow: /xmlrpc.php Disallow: / readme .html Disallow: / *? Disallow: /? S = Allow: /*.css Allow: /*.js Host: sitename.com
** Замість sitename.com слід вказати назву вашого сайту
Модулі для robots.txt
Для полегшення створення robots.txt в WordPress існують спеціальні плагіни. Деякі з них: WordPress Robots.txt File, DL Robots.txt, Yoast SEO.
Розглянемо створення файлу robots.txt на прикладі одного з найпотужніших SEO-плагінів Yoast SEO.
Після установки і активації плагіна необхідно в адмін-панелі вибрати пункт SEO-> Консоль. На вкладці Можливості перейти в розділ Додаткові настройки сторінки, пересунути повзунок в стан Включено і зберегти зміни. В адмін-панелі з'являться кілька додаткових пунктів. Далі необхідно перейти за пунктом SEO-> Інструменти, де вибрати Редактор файлів. Далі на сторінці редактора необхідно натиснути на кнопку Створити файл robots.txt, в редакторі вставити вищеописаний код і натиснути Зберегти зміни в robots.txt.
Якщо Вам сподобалася стаття - поділіться з друзями
Txt на сайт?Txt на сайт?
Html Disallow: / *?
Disallow: /?
