Часто спілкуючись з різними інтернет маркетологами і SEO фахівцями, прийшов до висновку, що вони не надають значення 404 SOFT помилок. Тобто, все націлені, як завжди, на ROI, ROMI, KPI. Всі хочуть крутий контент. Нові посадочні під нові семантичні ІНТЕНТ. І звичайно, всім потрібно круті беклінков. Куди ж без них?
І, як не дивно, часто проходять повз звичайних технічних питань, які можуть вбити все ваше SEO -ШМЕО на корені. Один з таких технічних моментів - це те, як Googlebot обходить сайт (як він Краулі сторінки). В даній статті поговоримо про 404 SOFT помилки і як сильно вони впливають на ваше просування.
Що ж таке 404 SOFT помилки?
Давайте розбиратися! Ймовірно, ви вже бачили сторінки типу цієї:
Це стандартна сторінка для 404 помилки в інтернет магазині f.ua.
Кожен раз, коли я отримую повідомлення про помилку 404 або Not Found, сервер повинен повернути стандартний код відповіді HTTP 404. Код відповіді сервера 404 вказує на те, що він (сервер) не зміг знайти запитаний URL.
Цей код повідомляє браузеру і пошуковим системам, що дана сторінка не існує. В результаті вміст сторінки, якщо воно є, не буде скануватися пошуковими системами ( це написано в довідці Google ).
У наведеному вище прикладі сервер f.ua відображає сторінки 404 для всіх неіснуючих URL. Чітко видно спеціально розроблений дизайн, де представлені акції магазину, щоб користувач не пішов з сайту миттєво. Це стандартна практика в е-Коммерс, де важливий кожен відвідувач.
На жаль, більшість фахівців, які так чи інакше залучені в процес просування сайтів, не розуміють, що повідомлення «сторінка не знайдена» - ніяк не пов'язане з HTTP -Відповісти, який повертає сервер. Ще раз, зовсім не означає, що сторінка автоматично визначається, як сторінка 404 всього лише за повідомленням 404 File Not Found.
Помилка «Soft 404» виникає щоразу, коли:
- неіснуюча сторінка (або сторінка, яка була видалена) не повертає код відповіді HTTP 404 на вимогу користувача або бота;
- неіснуюча сторінка перенаправляє користувачів на нерелевантні сторінку;
- коли сторінка порожня, на ній немає контенту
Які проблеми з 404 SOFT
Якщо для неіснуючої сторінки повертається HTTP статус відмінний від 404 (або 410), то це може негативно впливати на ранжирування всього сайту в Google пошуку. По-перше, якщо ви не надасте код відповіді 404, ваш сайт повідомить пошуковим системам, що є реальна сторінка за адресою, який вони намагаються отримати. В результаті URL, який ви видалили, буде просканований і проіндексований. У підсумку, ви втрачаєте цінний бюджет краулер.
Бюджет краулінга - це концепція, згідно з якою, Google обмежений час сканує веб-сайт перш ніж зупинить процес і перейде на інший ресурс. Google не хоче нескінченно витрачати час на сканування контенту на одному і тому ж сайті. Тому має сенс зробити все можливе, щоб Google сканував в першу чергу тільки нові або змінені сторінки.
Виходячи з концепції краулінгового бюджету, процес обходу 404 SOFT сторінок неминуче займе дорогоцінні ліміти сканування. Іншими словами, замість того, щоб сканувати потрібні вам URL s, Googlebot буде сканувати Soft 404 помилки. А це вже знижує видимість важливого контенту на вашому сайті. Тому, не дивно, що при усуненні помилок Soft 404 спостерігається тенденція до поліпшення ранжирування сайту в SERP Google.
Друге, що не менш важливе - це втрата лінкджуса. Як Ведучий Учасник довідкових форумів Google " Для веб-майстрів "І" Пошук "Спостерігав таку практику: картку товару інтернет магазину перенаправляють на головну сторінку або на сторінку категорії (роблять 301/302 редирект). Це роблять для старих карток товару, на яких є посилальна маса. В даному випадку це зовсім недоречно і буде плутати пошукових роботів. Ключовий момент у тому то, що віддалені або недоступні сторінки повинні перенаправлятися тільки на сторінки з аналогічним контентом. Якщо прямий заміни не існує, то сервер повинен повернути 404 HTTP статус для такого типу URL
Ще однією поганою практикою є наступне: вебмастер перенаправляє віддалені або не знайдений сторінки на кастомную 404 сторінку, яка віддає код відповіді сервера 200. В даному випадку простежується чіткий Интент вебмастера: бажання зберегти контрольний вагу віддалених /, не знайдених сторінок завдяки перелинковке на фейковий 404й сторінці. Все це призведе до того, що Google помітити цю кастомную сторінку як 404 SOFT помилку і ніякого перерозподілу посилального ваги не відбудеться.
Наприклад серед топових інтернет магазинів України ця хвороба у Комфі, а у Розетки справи йдуть трохи гірше.
Як вирішувати проблеми з 404 софт помилками?
Перше, що потрібно зробити - це вивантажити все 404 з Google Search Console
У наведеному вище прикладі повідомляється про 5915 помилках "не знайдено" і 2х 404 soft помилках. Нам знадобляться для аналізу ці 2 звіту.
Google дозволяє експортувати максимум 1000 URL-адрес в Інструментах для веб-майстрів. Тому в такому випадку працювати потрібно ітераційно: опрацювати першу 1000 - натисніть виправлено, через час Google оновить даний звіт і ви зможете пропрацювати наступні 1000 результатів.
Після того, як ви вивантажити список URL-адрес, вам потрібно буде оцінити, чому ці сторінки позначені як 404. Google надає кілька обмежену інформацію про URL-адресах, які вони виділяють як "Soft 404" (див приклад нижче).
Бажано масово перевірити УРЛ и, щоб зрозуміти, який код відповіді сервера вони повертають. Я використовую для цих цілей https://httpstatus.io/ .
У більшості випадків ви виявите, що такі сторінки повертають код відповіді сервера 200 (OK). Це яскравий приклад помилки Soft 404, оскільки код відповіді HTTP вказує роботам Google, що ця сторінка існує і повинна бути просканувати. Однак на сторінці немає вмісту, що повертається сервером.
Рішення: віддавати для такого типу сторінок код відповіді сервера 404
Інша проблема, з якою ви можете зіткнутися при діагностиці основної причини помилок Soft 404, - це недоречні 301/302 перенаправлення (приклад, як це може бути, описана вище).
Рішення: або віддавайте для таких сторінок код відповіді сервера 404 і втрачайте linkjuice, або не видаляйте такі сторінки, прописуючи в head документа <META NAME = "ROBOTS" CONTENT = "NOINDEX, FOLLOW"> і збережіть дорогоцінну вам кількість посилань
І як вишенька на торті (це для тих хто любить подумати і поставити експерименти). Отже, у нас є сторінки з різним вмістом А і Б. Б - морально застаріла і її хочеться видалити (що не висіла в базі), але на ній багато посилань.
Що якщо перед видаленням, ми замінимо вміст в стор Б на вміст стр А. Відстежимо, коли прийде бот Гугла, а після средіректім? Пропоную обговорити це в коментарях. А також чим відрізняється код відповіді сервера 404 від 410 і яке застосування можна знайти для коду відповіді сервера 410?
Що ж таке 404 SOFT помилки?Куди ж без них?
Що ж таке 404 SOFT помилки?
Як вирішувати проблеми з 404 софт помилками?
Відстежимо, коли прийде бот Гугла, а після средіректім?
А також чим відрізняється код відповіді сервера 404 від 410 і яке застосування можна знайти для коду відповіді сервера 410?
