Сайт выпал из индекса яндекса

Как часто мы видим и слышим такие слова: мой сайт СДЛ белый и пушистый попал под АГС, мой супер-пупер сайт выпал из индекса. Скорее бежим на форумы создавать топики, мол сайт выпадает из индекса, осталось всего несколько страниц и с каждым апом ситуация все хуже.

АГС или технические ошибки вебмастера

Однако смею вас заверить, что в 90% случаев никакого фильтра и тем более АГС на сайт не наложено. Чаще всего, то что вы называете сайт попал под агс,  является обычной технической  проблемой, халатностью или безграмотностью вебмастера.

Для начала давайте убедимся что страницы сайта выпадают из индекса или же вылетают из ТОПа выдачи яндекса?

Для проведения анализа пользоваться различными сервисами, коих в рунете довольно много, я не стал бы. Тупо доверять какому то сервису в таких случаях было бы как минимум наивно, как маскимум, получив неверную информацию, можео накосячить так что сайт действительно загремит под фильтры.Лучше, на мой взгляд, юзать проверенные утилиты, а еще лучше все делать собственными руками. Скачиваем утилиту Site-auditor.

В настройках оставляем только Количество проиндексированных страниц, на данном этапе нам более ничего не нужно. Сохраняем и жмем проверить.

site-auditor

Смотрим на количество проиндексированных страниц вашего сайта.

как проверить количество проиндексированных страниц

Как альтернатива: вбиваем в поиск такую запись site:instructing.ru, понятно что прописываем адрес своего сайта и получаем все страницы находящиеся в индексе.

Итак: количество проиндексированных страниц в яндексе соответствует количеству страниц сайта. В этом случае ваш сайт точно не попал под АГС, можете  этой утилитой проверить позиции страниц сайта по интересующим вас запросам. Потеря позиций в выдаче довольно обширная тема, но сейчас нас интересует вылет страниц сайта из индекса.

И если результаты проверки оправдались, и в индексе осталось совсем мало страниц, идем в яндекс вебмастер. Надеюсь ваш сайт давно уже туда добавлен и подтвержден. Вообще яндекс вебмастер довольно неплохой источник информации, хоть и тормознутый.

Неверный формат документа

Недавно столкнулся с ситуацией когда две трети страниц вылетели из поиска яндекса. Проверка технической оптимизации, танцы с бубном и прочие телодвижения результатов не давали, страницы продолжали вылетать из индекса. Яндекс вебмастер продолжал показывать причину Неверный формат документа хоть ты ус..сь  🙂

не верный формат документа

Если после всех технических тестов проверок вы считаете что с сайтом нет никаких проблем тут же пишите Платону (тех поддержка яндекса). Я протянул с письмом две недели и в результате сайт почти полностью вылетел из индекса, хотя по результатам переписки с Платоном Щукиным оказалось что проблема была на стороне яндекса, которую они быстро исправили. Поэтому пишем Платону не стесняясь и не затягивая, пишем корректное письмо с максимальными подробностями и ссылками на вылетевшие страницы, что бы вам ответил не робот а живой человек.

И вообще не нужно стесняться задавать вопросы техподдержке яндекса. Только пишите пожалуйста адекватные письма, там работают тоже люди и так же подвержены эмоциям, поэтому корректные письма и читать приятнее и ответ получите тоже корректный, а не отписку робота.

Сайт выпал из индекса

Выше я привел вам лишь один наглядный пример когда из нескольких сайтов на одном хостинг-аккаунте, сделанных на одном движке с одинаковыми плагинами, из индекса стал вылетать только один из-за некорректной работы яндекса. И если ваш сайт выпал из индекса (частично или полностью) таки чаще всего проблема оказывается именно в ошибках самого вебмастера. Именно об этом и пойдет речь в данном посте.

Сайт попал под АГС

Никогда не кидайтесь тупо делать на сайта какие-либо изменения, начитавшись или наслушавшись разных умников и специалистов, не изучив затрагиваемую тему до конца. Поскольку в основном все проблемы создаете только вы сами нахватавшись «верхушек» и загнав сайт в условия при которых поисковики начинают его считать говносайтом и выкидывать из индекса. Фильтр АГС удалил из поиска  очень и очень много ГС и время состряпанных «на коленке» сайтов  прошло.

Если раньше можно было склепать на кое-какой сайт, а потом постепенно изучая тему доводить его до ума, то сейчас отдавать сайт на индексацию можно только в готовом и качественном виде, иначе вам действительно будет грозить АГС.

Но если ваш ресурс разрабатывала серьезная компания, если вы вложили в него десятки или сотни тысяч денег и вдруг его страницы начинают вылетать из поиска, то причиной тому могут быть только ваши собственные «шаловливые» ручки, а не какие то фильтры или АГС.

неправильный robots.txt

Начнем с файла robots.txt. Какого только не понапишут в него, бывает аж жутко смотреть. Не нужно копировать robots как у всех на подобном движке, ведь структура и перелинковка зачастую сильно отличаются на разных ресурсах и переписав такой роботс себе вы можете тупо запретить индексацию всего сайта или его отдельных страниц.

Нужно хорошенько изучить вашу cms и если затрудняетесь с правильным написанием файла robots идем на форумы и обязательно читаем все подобные старые ветки. Если не нашли информации, не стесняемся показаться чайником и задаем вопросы с указанием ссылки на сайт. Боитесь что раскритикуют сайт? Считайте что вам укажут на ошибки 🙂 Хотя и там среди массы ответов вам придется выбрать только правильные. Как это сделать? Еще раз изучать тему, ссылку на правильный мануал увидите в конце статьи.

неправильное кэширование сайта

За долгую загрузку сайта и яндекс и гугл понижают его в выдаче, но из индекса не выкидывают. Кеширование конечно же необходимо для ускорения работы сайта, НО иногда при неправильной настройке плагинов страницы сайта могут отдаваться поисковому роботу да и посетителям не корректно (с пропуском элементов графики, стилей или см. ниже Не верный формат документа), а то и вовсе отдавать ответ 404 (страницы не существует).

Такие же ошибки могут создавать и SEO плагины. Например в некоторых случаях (неправильно настроете) при использовании плагина WordPress SEO by Yoast страницы тегов или рубрик будут отдавать 404 ответ. И вообще, после удаления и установки различных плагинов и расширений удалите кеш сайта, выйдите из админки, очистите кеш браузера и проверьте не нарушена ли перелинковка и структура сайта.

Взлом сайта

Если на ваш ресурс подселили вирус, то рано или поздно вы об этом узнаете, т.к. вас начнут блокировать не только антивирусы, но и браузеры, а в выдаче поисковиков посетители будут видеть предупреждение о потенциальной опасности. В этом случае вы резко начнете терять трафик или вовсе пропадете из поиска.

Гораздо хуже будут обстоять дела если вам поставят шелл и будут продавать скрытые ссылки с вашего сайта. За это вы с легкостью можете распрощаться с индексом поисковиков.  Сделайте выход из админки сайта, очистите кеш и куки в браузере, зайтите на сайт через поиск яндекса по какому-либо запросу. Возможно вас средиректит на другой ресурс или просто загляните в исходный код и проверьте внимательно на наличие исходящих ссылок.

Если на вашем ресурсе установлена яндекс метрика, то в разделе содержание — внешние ссылки яндекс вам подсветит исходящие внешние ссылки даже если они скрыты.

скратые исходящие ссылки

Лучше если обратитесь к специалистам для проведения комплексного технического аудита.

Не правильный htaccess

Ошибка в синтаксисе этого файла так же может привести к предсказуемым последствиям. Изучайте регулярные выражения дабы не допускать ошибок в htaccess или пользуйтесь услугами спецов.

Плохой хостинг провайдер

Плохой хостинг как минимум не даст вам вытащить свой сайт в топ поисковиков. Но может создать проблемы и по серьезнее, вплоть до потери файлов или базы данных полностью. И цена здесь совсем не причем, можно попасть на говнохостинг и за приличные деньги.

Как минимум необходимо ставить свой сайт на мониторинг, вот вам пару сервисов: мониторинг доступности и мониторинг вирусной активности. Вы будете точно знать аптайм сервера и тут же будете оповещены при проблемах в работоспособности сайта. И не бойтесь задавать вопросы хостеру, при адекватной тех поддержке вы получите необходимую помощь или технические рекомендации. Если нет, то меняйте хостинг как можно скорее.

Все возможные проблемы, изза которых сайты выпадают из индекса, здесь конечно же перечислить невозможно. Я лишь описал самые распространенные.

подводя итоги: смотрим информацию в яндекс и гугл вебмастре, не забываем использовать сервисы проверок в том же вебмастере, общаемся с тех поддержкой хостера и яндекса, перед какими-либо изменениями на сайте внимательно и досконально изучаем тему предмета.

Если вы перечитали все или не все вышеописанное и добрались до этой строчки то, видимо, проблема серьезная, и поэтому я смело и ОЧЕНЬ настоятельно вас отправляю читать сборник очень полезной информации. И если вы серьезно настроены на развитие себя в сфере вебмастерства, то без прочтения указанного хелпа вы так и будете спотыкаться о кочки и разные подводные камни на своем seo пути.