Як правильно налаштувати URL адреса сайту в файлі .htaccess

1. Чому так важливо, щоб URL були правильно сформовані?
2. Звідки беруться помилки в URL?
3. Що за чудо-юдо файл .htaccess?
4. Адреса сайту з WWW або без
5. Як налаштувати домен з www або без www
6. Адреса сайту з слешем / в кінці URL або без
7. Як налаштувати слеш в кінці адреси сайту
8. В адресі головної сторінки index.php або main
9. Як прибрати index.php і main

Доброго часу доби, шановні читачі. Кожен, хто хоч трохи почав розбиратися в пошуковому просуванні, займається просуванням свого сайту, хвилюється за правильне індексування сайту пошуковими роботами, повинен вміти правильно налаштовувати URL адреса сайту, володіти базовими знаннями про файлі .htaccess, вміти внести в нього зміни.

І сьогодні я хочу розповісти, які необхідні мінімальні налаштування, щоб сайт коректно індексувався, щоб не створювалося зайвого дублювання сторінок.

Звичайно, в мережі дуже багато такої інформації, але до сих пір, практично щодня, я стикаюся з неправильно налаштованим адресою сайту, коли головна сторінка знаходиться по 2, 4, а то і по 6 різними адресами. І це дуже погано.

І головна проблема криється в тому, що в наш час дуже легко поставити, практично, будь-яку CMS. І навіть не потрібно знати ніяких особливих знань. А ось щоб правильно налаштувати, як раз і потрібні додаткові знання.

Чому так важливо, щоб URL були правильно сформовані?

Тому що помилки в URL ускладнюють індексування сайту пошуковими системами, створюють дубльований контент, через що у сайту можуть виникнути проблеми з продвіженіем.Стоіт розуміти, що незважаючи на те, що в ТОПі пошукових систем досить часто трапляються сайти з динамічними адресами, з неправильно налаштованим адресою сайту, і пошукові системи, звичайно ж проїндексируют будь-який сайт, принаймні вони спробують це зробити, так ось незважаючи на все це, дуже важливо при створенні нового сайту врахувати всі можливі варіанти відображення адреси сайту і не допускати помилок з самого початку, тому що це обов'язково позначиться позитивно на сайті, додасть додатковий плюсик в його карму.

Правильно сформований адреса - це перш за все турбота про самого себе, точніше про свій сайт, який у відповідь обов'язково подарує вам більше відвідувачів, клієнтів та інше.

Звідки беруться помилки в URL?

Є кілька джерел проблем неправильної адреси сайту і сторінок.
Перша і найбільш часта залежить не від CMS, а від налаштувань самого домену. Так повелося, що під час прив'язки домену до хостингу, він отримує кілька різних адрес, в залежності від завдань, і деякі з цих адрес індексуються пошуковими системами. Через це створюється дублювання. Більш докладно про це ніже.Вторая проблема полягає безпосередньо в CMS, які динамічно створюють адреси. І про це ми так само сьогодні поговоримо.

Варто розуміти, що ті чи інші проблеми залежать від кожної конкретної CMS. Я постараюся охопити всі проблеми в масштабі, і зовсім не обов'язково, що всі проблеми виникнуть на одному взятому сайті. Адже у різних CMS різна логіка, і де одна проблема повністю вирішена розробниками, може існувати інша. Отже, приступимо.

Що за чудо-юдо файл .htaccess?

Я не хочу вантажити вас зайвою інформацією, але тому що основні зміни ми буде робити саме в цьому файлі, то варто трохи розповісти про нього. Це дуже корисний, цікавий і важливий файл для будь-якого сайту. Саме цей файл передає запити користувачів сервера і навпаки, отримуючи відповідь від сервера, пересилає назад користувачам. В технічні аспекти вдаватися не будемо, я і сама в них не сильна, а ось вміти налаштувати адресу сайту повинен кожен.
Отже, у кожного сайту повинен бути файл .htaccess, і він є в кожної CMS за замовчуванням. Але часто, після установки CMS файл має іншу назву і тому не виконує своїх функцій. Так само він може бути напівпорожнім або настройки в ньому можуть бути закоментовані. Важливо також знати, що в сучасних CMS файл .htaccess може бути в одній папці сайту. Але нас цікавить тільки один єдиний, який знаходиться в кореневій директорії сайту, тобто в тій папці, в якій знаходяться всі папки та файли вашої CMS. Часто ця папка носить назви public_html, html або www.Подключівшісь до свого сайту по FTP або зайшовши в файловий архів через панель управління хостингом, ви виявите цей файл. Як вже сказала, якщо ви їм ще не користувалися, він може мати розширення txt, як це зроблено в Joomla

або мати назву ht, і розширення .access, як це зроблено в CMS MODx, що разом якраз і утворює слово htaccess.

Може мати інше написання, але обов'язково утворювати саме це слово htaccess.

Щоб файл почав виконувати свої функції, його необхідно правильно перейменувати. Щоб не плутатися, найкраще завантажити цей файл до себе на комп'ютер, відкрити в блокноті, далі в меню Файл вибрати Зберегти як.

При цьому збереження обов'язково в пункті Тип файлу виберіть Всі файли. А саме ім'я починається з крапки (.). Якщо ви не поставите точку на початку назви, файл не буде працювати.

Після цього готовий файл вже можна заново заливати на хостинг. Звичайно, ви можете перейменувати даний файл і безпосередньо в файловому менеджері або в FTP клієнті, просто ви повинні бути впевнені, що файл не має ніякого іншого розширення, крім .htaccess.

Залежно від CMS, можливо, вам доведеться внести будь-які зміни в свій файл, щоб він почав коректно працювати, дану інформацію краще шукати на офіційному сайту тех. підтримки вашої CMS. Зараз же у нас стаття про те, як налаштувати даний файл для правильного індексування сайту пошуковими системами.

Чи не сильна я в технічних деталях настройки сервера, але перш, ніж ми приступимо, ви повинні знайти в файлі .htaccess такий рядок:

RewriteEngine On

Взагалі з усіх бачених мною .htaccess цей рядок був у всіх, а функція mod_rewrite, про яку говорить цей запис, включена у всіх хостерів. Але, якщо раптом у вашому файлі такого запису немає, то краще запитати у свого хостера, чи включена у них функція mod_rewrite.
Нижче цього рядка повинна бути ще одна

RewriteBase /

Якщо її немає, то додайте її самостійно. Про всяк випадок, перегляньте наявність цього рядка до самого кінця файла.Все інші записи, про які піде мова в цій статті, щоб вони були нижче цих двох рядків. Це найважливіше, що я хотіла сказати перш, ніж ми приступимо до основної частини даної статті. Отже, основні помилки і способи їх усунення.

Адреса сайту з WWW або без

Сама часто зустрічається помилка. Коли ви прив'язуєте свій домен до хостингу, йому прописується кілька записів типу А. Після того, як на хостинг вішається сайт, він стає доступним за різними адресами

http://www.site.ru
http://site.ru

Це вже класика жанру. Для мене найдивовижніше в такій ситуації завжди залишається те, що навіть якщо на сайт або всередині сайту немає жодного посилання з www, пошуковик обов'язково проиндексирует його з www.На даний момент, приставка www є аттавізмом, тобто ця частина домену втратила свою функціональність, і сучасні сайти не потребують її. Але багато вебмастера продовжують традицію залишати адресу сайту з www, і в цьому немає нічого поганого. Просто це не несе ніякої функціональності. Просто звичка і не більше.

Особисто моя думка - www абсолютно марна приставка. Але до тих пір, поки в налаштуваннях DNS домену буде залишатися даний пункт, поки пошукові системи незрозумілим чином будуть знаходити адресу сайту саме з приставкою, на нас лягає відповідальність попереджати можливу проблему дублювання контенту на сайті.
Отже, зараз ви повинні перевірити, як відкривається ваш сайт.
Спочатку вводимо в адресний рядок браузера адресу свого сайту з www

http://www.site.ru

Сайт завантажився. Якщо в адресному рядку нічого не змінилося, адреса так і відображається з www, то видаляємо з адреси www і оновлюємо сторінку. Дивимося в адресний рядок браузера.Еслі адреса змінилася на www.site.ru, значить у вас домен налаштований на постійне відображення з www і нічого змінювати не потрібно.

Якщо адреса сайту не змінився, значить ваш сайт відкривається за двома різними адресами, а значить вже створюється дублювання контенту і пошуковий робот швидше за все вже проіндексував обидві адреси, як різні сторінки, і вже роздумує, як би вас покарати.

Як налаштувати домен з www або без www

Тепер необхідно вирішити, в який бік міняти домен, залишати його з www або робити без? В такому випадку краще запитати у самих пошукових систем, який з електронних адрес, вважають правильним. І краще підлаштовуватися під Яндекс, а не під Google.Раньше було досить подивитися видачу Яндекса, щоб зрозуміти, який домен Яндекс вважає головним. Але зараз Яндекс показує всі домени без www, але при цьому все одно вперто продовжує індексувати з www.

Які можливі інші варіанти? Можна подивитися показник сайту тИЦ з www або без. Цю інформацію показують будь-які SEO інструменти . Або в Яндекс Вебмастер ( що таке Яндекс Вебмайстер ) В меню вибираємо Індексування сайту - Сторінки в пошуку. Яндекс показує список проіндексованих сторінок саме з такою адресою, який вважає головним. Отже, головне дзеркало домену вибрано, залишилося внести деякі зміни в службові файли сайту.

Якщо ви тільки створили свій сайт і він ще не проіндексовані пошуковими системами.

1. При додаванні сайту в інструменти для веб-майстрів Google ( Як користуватися інструментами для веб-майстра Google ) Додати обидві адреси, підтвердити свої права, і в настройках (Конфігурація сайту - Налаштування) кожного з них, вказати Основний домен.
2. створити файл Robots.txt і вказати в ньому директиву Host

User-agent: Yandex
Host: site.ru

Якщо ваш сайт вже існує і проіндексовані пошуковими системами, то до цих двох пунктів додаємо третій. Щоб пошукові системи почали правильно сприймати адресу вашого сайту, знаходити його тільки за однією адресою, то зробити це можна за допомогою редиректу 301, який і налаштовується у файлі .htaccess.Думаю, найзручніше вносити зміни в файл, попередньо скачавши його до себе на комп'ютер . Відкриваємо файл .htaccess. і додаємо 301 редирект (пам'ятаєте, після яких рядків потрібно додати?)

Перенаправляємо домен без www на домен з www

RewriteCond% {HTTP_HOST} ^ site \ .ru $ [NC]
RewriteRule ^ (. *) $ Http://www.site.ru/$1 [R = 301, L]

Зворотна ситуація, перенаправляємо домен з www на домен без www

RewriteCond% {HTTP_HOST} ^ www.example.ru $ [NC]
RewriteRule ^ (. *) $ Http://site.ru/$1 [R = 301, L]

Зберігаємо, закачуємо файл на хостинг, перевіряємо доступність сайту за адресою, з якого налаштовували перенаправлення. Якщо все зроблено правильно, то вбиваючи адресу в браузері, який не повинен індексуватися, під час завантаження сторінки адреса сайту в адресному рядку бразуер сам зміниться на той, який ви вибрали основним.

Адреса сайту з слешем / в кінці URL або без

Друга проблема, яка безпосередньо залежить від CMS - це закінчення URL. Ставиться чи в кінці адреси слеш чи ні.

http://site.ru
http://site.ru/

Взагалі, у багатьох CMS ця проблема вирішена, самі CMS програмно підставляють слеш в кінці URL, деякі навпаки, спеціально прибирають, але в будь-якому випадку ви повинні перевірити. Оскільки є і такі CMS, які відкривають сайт і так, і так. І якщо перші два варіанти ще куди не йшло, то останній - дуже погано. Чому це важливо? Та тому, що для пошукових систем це різні адреси. І якщо розробники CMS не продумати цей момент, то він повністю лягає на плечі вебмастера або оптімізатора.А як правильно, запитаєте ви? Якщо не вдаватися в технічні деталі, то суть в тому, що головна сторінка сайту по суті є каталогом, який містить вкладені підкаталоги і окремі сторінки - файли. Історично так склалося, що кожен каталог, який містить в собі підкаталоги і окремі файли повинен закінчуватися слешем, показуючи тим самим, що це каталог, а не кінцевий документ. Кінцевий же документ не повинен закінчуватися слешем, повідомляючи тим самим, що це кінцевий документ і більше нічого немає. Таким чином, адреса сайту та рубрики, які містять кінцеві документи, повинні закінчуватися слешем.

http://site.ru/

повідомляє, що всередині каталогу site.ru знаходяться ще документи.

http://site.ru/rubrika/

повідомляє, що всередині каталогу site.ru знаходиться підкаталог rubrika, який містить в собі ще якісь документи. І наостанок

http://site.ru/rubrika/page.html

повідомляє, що всередині каталогу site.ru знаходиться підкаталог rubrika, який містить в собі документ page.htmlНо це все теорія, і в сучасному інтернеті все вебмастера розійшлися, хто в ліс, хто по дрова. І навіть закінчення .html вже багато також вважають аттавізмом, як і www.

А тепер давайте подивимося, додається чи до адресою вашого сайту слеш?

Вводимо в адресний рядок адресу свого сайту без слеша. Дивимося, додався слеш чи ні. Вводимо адресу з слешем, і також дивимося, чи змінилося щось в адресному рядку. Про всяк випадок попереджаю, що в Google Chrome краще не дивитися, він видаляє всі Слеш.

Якщо вас перекидає на один з варіантів, значить розробники CMS вже подбали про це.

Що робити, якщо ваш сайт відкривається в обох випадках, і адреса не змінюється? В такому випадку допоможе 301 редирект. Незамінна просто штука для SEO.

Як налаштувати слеш в кінці адреси сайту

Спочатку нам потрібно з'ясувати, а як сама CMS формує адреси. Не знаю, як це роблять професіонали, я знайшла чисто дилетантський спосіб. З ймовірністю у 99% в шапці сайту ваш логотип або назва сайту виводиться у вигляді посилання на головну. А сама посилання формується програмно CMS. Підводимо курсор мишки до засланні в заголовку або логотипу сайту і внизу браузера дивимося посилання
Внизу ми бачимо, що адреса формується зі слешем на кінці. Значить нам потрібно прописати в файлі .htaccess 301 редирект, який буде перенаправляти з адреси без слеша на адресу з слешем. Та й взагалі, на мій погляд це самий оптимальний варіант з тієї точки зору, що деякі користувачі, даючи посилання на ваш сайт, можуть її НЕ скопіювати з адресного рядка, а прописати вручну. І навряд чи хто подумає прописати на кінці слеш. Але ж для пошукача це різні посилання. І таке посилання принесе значно менше користі.

Налаштувати слеш в кінці URL допоможе цей запис

RewriteCond% {REQUEST_FILENAME}! -F
RewriteCond% {REQUEST_URI}! (. *) / $
RewriteRule ^ (. *) $ / $ 1 / [R = 301, L]

Це трапляється рідко, але іноді, в залежності від CMS, від уже наявних налаштувань, особливо коли налаштовані ЧПУ посилання, деякі настройки можуть конфліктувати один з одним. В такому випадку краще пошукати підтримку на офіційному сайті CMS, якою ви користуєтеся.

В адресі головної сторінки index.php або main

Не знаю, як в інших CMS, але головний спеціаліст по формуванню таких URL - це Joomla. Так, це така CMS, яка примудряється видавати користувачу головну сторінку, як мінімум, за трьома адресами.

http://site.ru/
http://site.ru/index.php або http://site.ru/index.html
http://site.ru/main

І це я ще упустила варіант, коли сам сайт відкривається з www і без. А ви перевірили свій сайт на Joomla? Або у вас інша CMS? Перевірте на всякий випадок. Якщо сайт новий, то перевіряємо вручну, вбиваючи в адресному рядку браузера різні адреси. Якщо сайт вже проіндексований, то дивимося інструменти для вебмайстрів Яндекс і Google, які сторінки знаходяться в індексі.

Як прибрати index.php і main

Якщо ви виявили, що головна сторінка сайту відкривається одночасно за різними адресами, то для вас підійде таке правило, яке ми прописуємо все в тому ж файлі .htaccess.Для сторінки main

#RewriteBase /
Redirect 301 / main http://site.ru/

Для сторінки index.php

RewriteCond% {THE_REQUEST} ^ [AZ] {3,9} \ / index \ .php \ HTTP /
RewriteRule ^ index \ .php $ http://site.ru/ [R = 301, L]

Звертаю вашу увагу на те, що якщо ви використовуєте основну адресу з www, то запис http://site.ru/ повинна бути з www, тобто http://www.site.ru/. Відповідно, якщо ви виявили файл index з розширенням .html, то вказуємо його в правилі.

Ось ми розібрали найчастіші помилки в налаштуванні URL адреси сайту і навчилися їх виправляти. Сподіваюся, моя стаття вам допоможе правильно налаштувати адресу свого сайту. Хай щастить.