З проблемою індексації сайту часто стикаються вебмастера, що працюють над розвитком ресурсу. Особливо повільна індексація у нових сайтів - роботи можуть заходити на сайт, але вперто не індексувати окремі його сторінки і навіть розділи. Чому важлива швидка індексація, думаю, говорити не потрібно: тут і питання першоджерела, і отримання більш швидких результатів, і прихильність до сайту з боку пошукових систем.
Яндекс і Google по-різному вирішують питання індексації, тому ми і розглянемо їх окремо.
Швидка індексація сторінок сайту в Google
В Google питання швидкої індексації окремої сторінки сайту вирішується дуже просто: зовсім недавно в панелі вебмайстрів Google Webmaster Tool з'явився спеціальний інструмент, що дозволяє включити в індекс будь-яку сторінку і пов'язані з нею url-адреси буквально за лічені хвилини.
Для цього сайт повинен бути доданий в панель вебмастера Google. Заходимо в розділ Сканування -> Подивитись як Googlebot, вводимо потрібний url (частина без назви сайту) і натискаємо кнопку «Сканувати». Вибираємо сканувати нам тільки даний url або пов'язані з ним також. Можна також покликати робота для мобільних пристроїв. Далі натискаємо кнопку «Додати в індекс», після чого з'явиться напис «URL відправлений на індексування».
Через пару хвилин можна перевіряти його наявність в індексі Google. На цій же вкладці можна подивитися повні дані по процесу сканування для кожного введеного адреси і навіть час завантаження сторінки. Загалом, з Google все зручно і швидко!
Єдиний мінус - використання цього інструменту не дозволить вам добитися того, щоб робот сам частіше заходив на ваш сайт, тому доведеться вручну вбивати кожну адресу, якщо хочете, щоб він швидко з'являвся в індексі.
Індексація сторінок сайту в Яндекс
З пошуковою системою Яндекс ситуація набагато складніше, тому що таких інструментів прискорення сканування окремого url тут немає. Офіційна позиція Яндекса щодо прискорення індексації стосується тільки внутрішньої технічно грамотною налаштування сайту:
- Виняток з індексування непотрібних сторінок сайту через robots.txt: форми зворотного зв'язку, сторінки результатів пошуку, сторінки для друку та ін.
- Вказівка в файлі Sitemap.xml інформації про сторінки, які потрібно індексувати і як часто вони змінюються.
- Створити карту сайту sitemap.html із зазначенням посилань на всі сторінки сайту і документи.
- Налаштувати сервер для відповіді коректних HTTP заголовків? Для працюючих сторінок - код 200, для сторінок з помилками - 404.
Однак такі поради лише дозволяють коректно індексувати потрібну інформацію на сайті, але аж ніяк не прискорюють її і не дозволяють частіше залучати роботів на свій сайт. Тому вебмастера шляхом тестування різних методів вивели свої способи, за допомогою яких можна вплинути на швидкість індексування сторінок сайту в Яндекс.
- скористатися формою додавання сайту для індексування окремого url (інструмент «Повідомити про новий сайт»).
- Використовувати расшаріваніє статей в соціальних мережах. Отримання великого числа соціальних сигналів відразу після публікації матеріалу дозволяє швидко проіндексувати її. Для цього потрібно, по-перше, самостійно анонсувати статті в своїх акаунтах в соціальних мережах (чим більше у вас передплатників і чим більше цікава стаття, тим більша ймовірність отримати багато безкоштовних її расшаріваніє), а по-друге, мати кнопки для шаринга в популярних соціальних мережах на самій сторінці сайту.
- Часта публікація інформації. Давно помічено, що чим частіше з'являються на сайті нові матеріали, тим швидше вони з'являються в індексі. Варто подивитися хоча б на новинні сайти: здається, робот з них навіть не виходить!
- Внутрішня перелінковка. Вона допомагає як індексувати нові матеріали, так і не дозволяти виключатися з індексу старим. Прискорити індексацію нового матеріалу допоможе посилання на нього з головної сторінки сайту.
- Зовнішні сигнали посиланнями. Це можуть бути в першу чергу сервіси питань відповідей, закладок, RSS-стрічка і навіть біржі посилань.
- Грамотна організація меню і структури сайту. Дуже важливо, щоб робот міг безперешкодно потрапити на потрібну сторінку. Для цього найкраще робити матеріали не далі ніж в 3 кліки від головної сторінки.
- Використовувати пінг-сервіси. Якщо через них відправити сигнал, то вони також будуть помічені пошуковими системами і якщо ті побачать потреба в його індексації, відправлять для цих цілей свого робота.
Всі ці способи вимагають час, тому задумайтеся, що для вас пріоритетнішою. В цілому, всі вони робочі, але сказати, що більш дієво, складно, так як багато залежить від самого сайту.
повернутися
Налаштувати сервер для відповіді коректних HTTP заголовків?
