Как бороться с ошибками сканирования в Google Search Console (Инструменты для веб-мастеров)

содержание
Не паникуйте!
Сначала пометьте все ошибки сканирования как исправленные
Проверяйте отчет об ошибках сканирования раз в неделю
Классическая ошибка 404 сканирования
404 ошибки, вызванные ошибочными ссылками с других сайтов
404 ошибки, вызванные ошибочными внутренними ссылками или записями карты сайта
404 ошибки, вызванные тем, что Google сканирует JavaScript и портит его 😉
Тайна 404 ошибок
Что такое ошибки «Soft 404»?
Что делать с 500 ошибками сервера?
Другие ошибки сканирования: 400, 503 и т. Д.
Список всех ошибок сканирования, с которыми я столкнулся в «реальной жизни»
Пик ошибок сканирования после миграции веб-сайта
Резюме

Это с тобой случилось? Вы проверяете отчет «Ошибки сканирования» в консоли поиска Google (ранее известной как Инструменты для веб-мастеров) и видите так много ошибок сканирования, что не знаете, с чего начать. Нагрузки 404, 500, «мягкие 404», 400 и многие другие… Вот как я справляюсь с большим количеством ошибок сканирования.

Примечание. Это руководство впервые было опубликовано на rebelytics.com в 2015 году и с тех пор несколько раз обновлялось и перемещалось в этот блог.

Если вы не нашли решения своей проблемы в этой статье, не стесняйтесь оставить мне комментарий на нижняя часть этой страницы , Я обычно отвечаю в течение нескольких дней.

содержание

Вот обзор того, что вы найдете в этой статье:

Итак, начнем. Прежде всего:

Не паникуйте!

Ошибки сканирования - это то, чего вы обычно не можете избежать, и они не обязательно оказывают непосредственное негативное влияние на вашу эффективность SEO. Тем не менее, они являются проблемой, которую вы должны решить. Низкий уровень ошибок сканирования в консоли поиска является положительным сигналом для Google, поскольку отражает хорошее общее состояние сайта. Кроме того, если бот Google встречает меньше ошибок при сканировании на вашей странице, пользователи с меньшей вероятностью увидят ошибки веб-сайта и сервера.

Сначала пометьте все ошибки сканирования как исправленные

Поначалу это может показаться глупым советом, но на самом деле это поможет вам справиться с ошибками сканирования более структурированным способом. Когда вы впервые просматриваете отчет об ошибках сканирования, вы можете увидеть сотни и тысячи ошибок сканирования с тех пор. Вам будет очень трудно найти выход из этих длинных списков ошибок.

Этот скриншот заставляет вас чувствовать себя лучше? Бьюсь об заклад, вы лучше, чем этот веб-мастер 😉

Мой подход состоит в том, чтобы пометить все как исправленные, а затем начать с нуля: неактуальные ошибки сканирования больше не будут появляться, и те, которые действительно нуждаются в исправлении, скоро вернутся в вашем отчете. Итак, после того как вы очистили свой отчет, вот как это сделать:

Проверяйте отчет об ошибках сканирования раз в неделю

Выбирайте фиксированный день каждую неделю и переходите к отчету об ошибках сканирования. Теперь вы найдете управляемое количество ошибок сканирования. Поскольку их не было на прошлой неделе, вы будете знать, что недавно они были обнаружены ботом Google. Вот как нужно обращаться с тем, что вы найдете в отчете об ошибках сканирования, раз в неделю:

Классическая ошибка 404 сканирования

Это, вероятно, самая распространенная ошибка сканирования на всех веб-сайтах, и ее также легче всего исправить. За каждую ошибку 404, с которой сталкивается бот Google, Google сообщает вам, откуда он связан: с другого сайта, другого URL на вашем сайте или ваших карт сайта. Просто нажмите на ошибку сканирования в отчете, и откроется лайтбокс, подобный этому:

Обратите внимание, что информация на вкладке «Связанные с» не всегда актуальна. Он может содержать URL-адреса, которые больше не существуют или не ссылаются на URL-адрес ошибки. Это связано с тем, что на этой вкладке Google сообщает нам, где он нашел URL-адрес ошибки, а не где он в настоящее время связан (как можно предположить из названия).

Знаете ли вы, что вы можете скачать отчет обо всех ошибках сканирования и откуда они связаны? Таким образом, вам не нужно проверять каждую ошибку сканирования вручную. Проверять, выписываться эта ссылка в Google API Explorer. Большинство полей уже заполнены, поэтому все, что вам нужно сделать, это добавить URL своего веб-сайта (точный URL-адрес свойства поисковой консоли, с которым вы работаете) и нажать «Авторизовать и выполнить». Дайте мне знать, если у вас есть какие-либо вопросы по этому поводу!

Теперь давайте посмотрим, что вы можете сделать с различными типами ошибок 404.

404 ошибки, вызванные ошибочными ссылками с других сайтов

Если ложный URL-адрес связан с другим веб-сайтом, вам следует просто осуществить перенаправление 301 с ложного URL-адреса на правильную цель. Возможно, вы сможете обратиться к веб-мастеру на странице ссылок, чтобы попросить внести изменения, но в большинстве случаев это не будет стоить усилий.

404 ошибки, вызванные ошибочными внутренними ссылками или записями карты сайта

Если ложный URL-адрес, вызвавший ошибку 404 для бота Google, связан с одной из ваших собственных страниц или с карты сайта, вы должны исправить ссылку или запись в карте сайта. В этом случае также неплохо бы 301 перенаправить URL-адрес 404 в правильное место назначения, чтобы он исчез из индекса Google и передал силу связи, которая у него могла бы быть.

404 ошибки, вызванные тем, что Google сканирует JavaScript и портит его 😉

Иногда вы сталкиваетесь со странными ошибками 404, на которые, согласно Google Search Console, ссылаются несколько или все ваши страницы. Когда вы будете искать ссылки в исходном коде, вы обнаружите, что они на самом деле являются относительными URL-адресами, которые включены в подобные сценарии (просто случайный пример, который я видел в одном из моих свойств Google Search Console):

Согласно Google, это вовсе не проблема, и этот тип ошибки 404 можно просто игнорировать. Прочтите пункт 3) этого поста Джона Мюллера из Google для получения дополнительной информации (а также остальной части, поскольку она очень полезна):

Тайна 404 ошибок

В некоторых случаях источник ссылки остается загадкой. Данные, которые Google предоставляет в отчетах об ошибках сканирования, не всегда надежны на 100%. Например, информация на вкладке «Связано с» не всегда актуальна и может содержать URL-адреса, которых не было много лет или которые больше не ссылаются на URL-адреса ошибок. В таких случаях вы все равно можете настроить перенаправление 301 для ложного URL.

Не забывайте всегда отмечать все ошибки 404 сканирования, о которых вы позаботились, как исправленные в отчете об ошибках сканирования. Если есть 404 ошибки сканирования, о которых вы не знаете, что делать, вы все равно можете пометить их как исправленные и собрать их в «тайный список». Если они продолжат появляться снова, вы знаете, что вам придется глубже вникать в проблему. Если они не появятся снова, тем лучше.

Если у вас есть ошибки mystery 404, не стесняйтесь оставить мне комментарий в конце этой статьи. Я буду рад проверить вашу проблему.

Давайте теперь посмотрим на странный вид «мягких ошибок 404».

Что такое ошибки «Soft 404»?

Это то, что Google изобрел, не так ли? По крайней мере, я никогда не слышал об ошибках «Soft 404» где-либо еще. Ошибка «Soft 404» - это пустая страница, с которой столкнулся бот Google и которая вернула код состояния 200.

Так что это в основном страница, которую Google ДУМАЕТ, должна быть страница 404, но это не так. В 2014 году веб-мастера начали получать ошибки «Soft 404» для некоторых своих реальных страниц контента. Это способ Google сообщить нам, что у нас есть «тонкий контент» на наших страницах.

Работа с ошибками «Soft 404» так же проста, как и с обычными ошибками 404:

Если URL ошибки «Soft 404» не должен существовать, 301 перенаправляет его на существующую страницу. Также убедитесь, что вы исправили проблему несуществующих URL-адресов, не возвращающих правильный код ошибки 404.
Если URL-адрес страницы «Soft 404» является одной из ваших реальных страниц контента, это означает, что Google видит ее как «тонкий контент». В этом случае убедитесь, что вы добавляете ценный контент на свой сайт.

Проработав ошибки «Soft 404», не забудьте пометить их как исправленные. Далее, давайте посмотрим на жестокий вид 500 ошибок сервера.

Что делать с 500 ошибками сервера?

500 ошибок сервера, вероятно, являются единственным типом ошибок сканирования, о которых следует немного беспокоиться. Если бот Google регулярно сталкивается с ошибками сервера на вашей странице, это очень сильный сигнал для Google о том, что с вашей страницей что-то не так, и в конечном итоге это приведет к ухудшению рейтинга.

Этот тип ошибки сканирования может появляться по разным причинам. Иногда это может быть определенный поддомен, каталог или расширение файла, которое заставляет ваш сервер возвращать код состояния 500 вместо страницы. Разработчик вашего сайта сможет это исправить, если вы отправите ему или ей список 500 последних ошибок сервера из Инструментов Google для веб-мастеров.

Иногда в консоли поиска Google появляются 500 ошибок сервера из-за временной проблемы. Возможно, сервер некоторое время не работал из-за технического обслуживания, перегрузки или форс-мажорных обстоятельств. Обычно это то, что вы сможете узнать, проверив свои файлы журналов и поговорив с разработчиком и хостом сайта. В таком случае вы должны постараться убедиться, что такая проблема больше не возникнет в будущем.

Обратите внимание на ошибки сервера, которые появляются в ваших инструментах Google для веб-мастеров, и постарайтесь максимально ограничить их возникновение. Бот Google всегда должен иметь доступ к вашим страницам без каких-либо технических барьеров.

Давайте рассмотрим некоторые другие ошибки сканирования, с которыми вы можете столкнуться в Инструментах Google для веб-мастеров.

Другие ошибки сканирования: 400, 503 и т. Д.

В этой статье мы рассмотрели наиболее важные и распространенные ошибки сканирования: 404, «Soft 404» и 500. Время от времени вы можете встретить другие типы ошибок сканирования, например 400, 503, «Доступ запрещен», «Неисправен». перенаправления »(для смартфонов) и т. д.

Во многих случаях Google предоставляет некоторые объяснения и идеи о том, как бороться с различными типами ошибок.

В целом, рекомендуется иметь дело с каждой обнаруженной ошибкой сканирования и стараться не допустить ее повторения в будущем. Чем меньше ошибок сканирования встречает бот Google, тем больше Google доверяет здоровью вашего сайта. Считается, что страницы, которые постоянно приводят к ошибкам сканирования, также обеспечивают плохой пользовательский интерфейс и будут оцениваться ниже, чем здоровые веб-сайты.

Вы найдете больше информации о различных типах ошибок сканирования в следующей части этой статьи:

Список всех ошибок сканирования, с которыми я столкнулся в «реальной жизни»

Я подумал, что было бы интересно включить список всех типов ошибок сканирования, которые я фактически видел в свойствах Google Search Console, над которыми я работал. У меня не так много информации по всем из них (кроме тех, которые обсуждались выше), но здесь мы идем:

Ошибка сервера (500)
В этом отчете Google перечисляет URL-адреса, которые вернули ошибку 500, когда бот Google попытался сканировать страницу. Увидеть выше Больше подробностей.

Софт 404
По словам Google, это URL-адреса, которые вернули код состояния 200, но должны возвращать ошибку 400. Я предложил некоторые решения для этого выше ,

Доступ запрещен (403)
Здесь Google перечисляет все URL, которые вернули ошибку 403, когда бот Google пытался их сканировать. Убедитесь, что вы не ссылаетесь на URL, которые требуют аутентификации. Вы можете игнорировать ошибки «Отказано в доступе» для страниц, которые вы включили в файл robots.txt, потому что вы не хотите, чтобы Google обращался к ним. Возможно, было бы неплохо использовать ссылки nofollow при ссылке на эти страницы, чтобы Google не пытался сканировать их снова и снова.

Не найдено (404/410)
«Не найдено» - это классическая ошибка 404, которая обсуждалась выше , Прочитайте Комментарии для некоторой интересной информации о 404 и 410 ошибках.

Не соблюдается (301)
Ошибка «не сопровождается» относится к URL-адресам, которые перенаправляют на другой URL-адрес, но перенаправление не работает. Исправьте эти перенаправления!

Другое (400/405/406)
Здесь Google группирует все, для чего у него нет названия: я видел ошибки 400, 405 и 406 в этом отчете, и Google говорит, что не может сканировать URL-адреса «из-за неопределенной проблемы». Я предлагаю вам относиться к этим ошибкам так же, как к нормальным 404 ошибки ,

Флэш-контент (смартфон)
В этом отчете просто перечислены страницы с большим количеством флэш-содержимого, которое не будет работать на большинстве смартфонов. Избавиться от вспышки!

Заблокирован (смартфон)
Эта ошибка относится к страницам, к которым бот Google мог получить доступ, но которые были заблокированы для мобильного бота Google в файле robots.txt. Убедитесь, что все боты Google имеют доступ к контенту, который вы хотите проиндексировать!

Пожалуйста, дайте мне знать, если у вас есть какие-либо вопросы или дополнительная информация об ошибках сканирования, перечисленных выше, или других типах ошибок сканирования.

Пик ошибок сканирования после миграции веб-сайта

Вы можете ожидать пика ошибок сканирования после перехода на сайт. Даже если вы сделали все, что в ваших силах, чтобы подготовить миграцию с точки зрения SEO Очень вероятно, что робот Google столкнется с большим количеством 404 ошибок после повторного запуска.

Если после миграции количество ошибок сканирования в Инструментах Google для веб-мастеров возрастает, паниковать не нужно. Просто следуйте инструкциям, описанным выше, и постарайтесь исправить как можно больше ошибок сканирования в течение нескольких недель после миграции.

Резюме

Пометить все ошибки сканирования как исправленные.
Возвращайтесь к своему отчету раз в неделю.
Исправьте ошибки 404, перенаправляя ложные URL-адреса или изменяя свои внутренние ссылки и записи файла Sitemap.
Старайтесь избегать ошибок сервера и обратитесь за помощью к своему разработчику и хосту сервера.
Разобраться с другими типами ошибок и использовать Ресурсы Google за помощью.
Ожидайте пика ошибок сканирования после переноса веб-сайта.

Если у вас есть какие-либо дополнительные идеи по устранению ошибок сканирования в Инструментах Google для веб-мастеров, буду благодарен за ваши комментарии.

Вслед за недавним видео Мэтта Каттса, в котором говорится, что «Google считает SEO« НЕ »спамом», - почему вы думаете, что люди считают его спамом, и что бы вы сказали, чтобы его успокоить?
Вслед за недавним видео Мэтта Каттса, в котором говорится, что «Google считает SEO« НЕ »спамом», - почему вы думаете, что люди считают его спамом, и что бы вы сказали, чтобы его успокоить? У SEO есть черный глаз в мире интернет-маркетинга. Долгое время его считали «черным искусством», потому что люди просто не понимают, как оно работает. Google был очень скрытным с самого начала и до сих пор. Трудно понять, что работает и почему это работает. Когда-то люди думали,

Вы бы не свернули с автострады, не припарковались и не вошли в здание, если бы не знали, что внутри, не так ли?
Вы бы не свернули с автострады, не припарковались и не вошли в здание, если бы не знали, что внутри, не так ли? Нет! Ну, и не будет поисковых систем! Поисковые системы ищут обозначение веб-страницы - тег заголовка HTML - чтобы сообщить им, о чем эта страница. HTML-мета-описание - это краткое описание веб-страницы или поста в блоге и того, что можно найти на странице или посте. Мета-описание похоже на рекламу магазина. Он сообщает поисковым системам и людям больше

Я понимаю, что вы хотите сказать нам, что другие поисковые системы больше не актуальны, но не должны ли они быть приняты во внимание?
Я понимаю, что вы хотите сказать нам, что другие поисковые системы больше не актуальны, но не должны ли они быть приняты во внимание? И в чем разница между оптимизацией и позиционированием? PD: Это именно так. Google имеет долю рынка более 96% в Австрии, по состоянию на 2019 год. Bing составляет около 2%. Остальные разделены десятками других поисковых систем. Если вы посмотрите на ситуацию более внимательно, большинство людей используют Bing, потому что это продиктовано

Что заставляло вас тянуться к большему (или мучительно, когда его больше не было), и что заставляло вас хотеть выбросить пульт через экран?
Что заставляло вас тянуться к большему (или мучительно, когда его больше не было), и что заставляло вас хотеть выбросить пульт через экран? Время взвесить ... awcoconuts Супружеский хаос: Ох, эпизоды этой недели были сырыми, реальными и сложными для

Вы видите ссылки на вашем сайте, что вы знаете, что вы не вставили (например, ссылки на порно, казино или незаконных фармацевтических сайтов) ли?
Что заставляло вас тянуться к большему (или мучительно, когда его больше не было), и что заставляло вас хотеть выбросить пульт через экран? Время взвесить ... awcoconuts Супружеский хаос: Ох, эпизоды этой недели были сырыми, реальными и сложными для

То есть, если Google не объясняет открыто, как работает их алгоритм, можем ли мы просто сказать на основе корреляции, что длина текста является фактором ранжирования или нет?
То есть, если Google не объясняет открыто, как работает их алгоритм, можем ли мы просто сказать на основе корреляции, что длина текста является фактором ранжирования или нет? В этом случае я думаю, что да. Но соответствующая корреляция также заметна, например, с отношением Текст / HTML, и многие SEO-ботаники, включая меня, полагают, что это будет фактором ранжирования. Более подробный анализ этих двух факторов Факторы, связанные

Но означает ли тот факт, что Google называет веб-мастеров там надежным источником данных, указывает на то, что поиск SSL не может повлиять на него?
Но означает ли тот факт, что Google называет веб-мастеров там надежным источником данных, указывает на то, что поиск SSL не может повлиять на него? У меня есть сомнения, но данные рейтинга, по крайней мере, не должны быть затронуты, по моему мнению. Обычно я не фанат использования органических рейтингов в качестве показателя успеха SEO, потому что они варьируются в зависимости от человека из-за персонализации. Некоторые инструменты ранжирования основаны на персональном браузере пользователя

Это не потому, что у них больше всего ссылок, а потому, что их заголовок очень прост: « Что такое SEO?
Но означает ли тот факт, что Google называет веб-мастеров там надежным источником данных, указывает на то, что поиск SSL не может повлиять на него? У меня есть сомнения, но данные рейтинга, по крайней мере, не должны быть затронуты, по моему мнению. Обычно я не фанат использования органических рейтингов в качестве показателя успеха SEO, потому что они варьируются в зависимости от человека из-за персонализации. Некоторые инструменты ранжирования основаны на персональном браузере пользователя

Поскольку все знают, что контент - это «то, что нужно делать», как вы получаете преимущество над конкурентами?
Поскольку все знают, что контент - это «то, что нужно делать», как вы получаете преимущество над конкурентами? Ответ заключается в создании отличного контента для вашего бизнеса. Копия, которая хорошо читается, хорошо течет, развлекает, отвечает на вопросы и обеспечивает ценность. Теперь, когда мы это установили, пришло время взглянуть в реальность - ваше письмо нуждается в некоторой работе, я прав? Так как же перейти на следующий уровень? Ключом к улучшению

На мой взгляд, это в основном выбор владельца форума: хочет ли он сохранить целую историю - в принципе, или он предпочитает быть прагматичным и убирать все, что не имеет шансов его заинтересовать?
На мой взгляд, это в основном выбор владельца форума: хочет ли он сохранить целую историю - в принципе, или он предпочитает быть прагматичным и убирать все, что не имеет шансов его заинтересовать? мир в будущем? Другая проблема - время, которое требуется ... Я начал делать это на WebRankInfo, но с 2002 года с 1,5 миллионами сообщений "очистка" занимает много времени ... Есть ли у страницы хорошая внутренняя сеть? Во всех проведенных мною проверках я заметил,

Тем не менее, в своем предыдущем видео об инструменте diavow вы говорите, что отмена ссылок может занять месяцы, пока Google ожидает их сканирования ?
Тем не менее, в своем предыдущем видео об инструменте diavow вы говорите, что отмена ссылок может занять месяцы, пока Google ожидает их сканирования ??? В то же время, временная задержка делает это немного больше, чем «неприятность», вы не думаете? Куда это нас оставляет? По мере того как Google продолжает добавлять в свои поисковые системы более продвинутые фильтры и вкладывать больше данных об использовании в свои алгоритмы релевантности, они, по сути, уничтожают

Что делать с 500 ошибками сервера?
Этот скриншот заставляет вас чувствовать себя лучше?
Знаете ли вы, что вы можете скачать отчет обо всех ошибках сканирования и откуда они связаны?
Что такое ошибки «Soft 404»?
Это то, что Google изобрел, не так ли?
Что делать с 500 ошибками сервера?
Что такое SEO?
Что можно проверить и как?
Через сеть?
Брошюра?

Заказ курсовой работы недорого

Статьи