Сайт выпал из индекса


Или - как оно все на самом деле работает

  В сегодняшней статье я хочу рассказать Вам о том, как мой сайт выпал из индекса Яндекса, почему это произошло и что делать чтобы не попасть в подобную историю? Если Вы будете готовы к этому, то не окажетесь в том положении, в которое угодил я. А поверьте, когда сайт выпадает из индекса поисковой системы это - очень неприятно! :)

  Что такое есть этот самый "индекс", мы затрагивали в предыдущей статье, посвященной поисковым алгоритмам. Коротко говоря, если сайт не индексируется это значит, что он "не видим" для самой поисковой системы, а следовательно, - и для всех пользователей, которые ей пользуются. Получается что сайта - нет! Точнее фактически он-то есть, но вот найти его в результатах поисковой выдачи нельзя.

  В начале июня этого (2012-го) года я стал замечать плавное, но неуклонное падение поискового трафика. Это показал счетчик статистики от «LiveInternet». В тот момент я занимался ремонтом в квартире и списал происходящее на какие-то сезонно-отпускные колебания трафика, короче о том, что мой проект выпал из индекса я не подозревал вообюще.

  Но! Когда я по прошествии нескольких дней еще раз заглянул в статистику, то понял что творятся реально не хорошие вещи:

Резкое падение трафика на сайте

  Все понятно и без объяснений :) Вот здесь я, признаюсь, озадачился серьезно. Потому как только накануне имел разбор полетов с «Google» и вот теперь - «Яндекс»!.

  Первым делом, закрадывается мысль: а что если сайт не индексируется Яндексом вообще? Проверим это предположение. Открываем поисковик и прямо в строке запроса набираем такую конструкцию site:sebeadmin.ru После двоеточия, естественно, подставляете адрес своего ресурса. Нажимаем "найти". Этот же метод работает и в поисковике Гугл. 

  Что это за команда? Она позволяет увидеть все страницы, которые были проиндексированы поисковым роботом (ботом, краулером, индексатором) и попали в базу самой ПС.

  Полюбуемся на результат:

Сайт выпал из индекса

  Из индекса (поисковой базы) выпали все страницы. Фактически весь сайт выпал из индекса. Итог: для "зеркала Рунета" его вообще нет! Что тут скажешь? За-ши-бись... Вот примерно так я и подумал, только - чуть более лаконично :)

  Решил еще раз "потрясти" Интернет-статистику, но уже по запросу "трафик с поисковых систем". Вот что я увидел:

Трафик на сайте упал до нуля

  Вот хуже этого зрелища для владельца уже, наверное, ничего быть не может :) Сайт полностью выпал из индекса и, как следствие, - трафик с Яндекса упал практически до нуля.

  Возникает резонный вопрос: почему не индексируется сайт? Никаких "работ" на нем в последнее время не проводилось, "запрещенных" методов не использовалось, так где, спрашивается, собака порылась? :)

  Первым делом решаю зайти в панель веб-мастера. В данном случае - сюда: webmaster.yandex.ru Ввожу логин и пароль, указанный при регистрации в ней, и сходу вижу еще одно подтверждение того, что сайт выпал из индекса:

В индексе - только главная страница

  Только одна страница участвует в поиске (присутствует в базе, по которой и ищет поисковая система - ПС).

  Нажимаем на знак вопроса возле количества страниц столбца "Страниц в поиске". Видим вот такое всплывающее окно:

Почему сайт выпал из индекса
 

  Также - обратим внимание на правую часть панели интерфейса веб-мастера. Там собраны сообщения, требующие нашего внимания, новости, различные анонсы и т..д.

Задать вопрос по сайту Яндексу

  Нажимаем на ссылку "Сообщения" и убеждаемся в том, что сайт выпал из индекса еще около двух недель назад, а то что поисковый трафик начал снижаться только сейчас можно объяснить остаточным присутствием страниц в кеше ПС.

  Кликабельно:

Причины выпадения сайта из индекса

  Так, ситуация проясняется! Оказывается дело - в настройках веб-сервера хостинга, на котором расположен мой проект.

 Примечание: хостинг - место для размещения ресурса, за деньги арендуемое его владельцем у компании предоставляющей такие услуги  (хостинговая компания - "хостер"). Тоесть, - сайт физически расположен на их сервере, который управляется их админами. Вот этот момент надо всегда держать в голове!

  Похоже - придется связываться со службой поддержки моего "хостера" и выяснять в чем дело? Но, для начала, напишем письмо в поддержку самого Яндекса, просто чтобы посмотреть как быстро и что именно они скажут :)

  Это можно сделать через ту же панель сообщений, нажав на ссылку: "Задать вопрос службе поддержки" (один из скриншотов выше). На нужно будет заполнить вот такую форму:

  Картинка - кликабельна.

Задать вопрос службе поддержки Яндекс

  Вдумчиво делаем это, подробно описываем возникшую ситуацию, говорим, что сайт выпал из поиска, прикрепляем графический файл с подтверждением этого прискорбного события и нажимаем кнопку "отправить".

  Саппорт (поддержка) работает по нумерованным "тикетам" (запросам от пользователей), поэтому на боле-менее адекватный "тикет" ответ прийти обязан. В среднем его придется ждать 2-3 дня, но, скорее всего, он таки придет!

  Вот как выглядел заголовок входящего письма в моем случае:


 

  А вот - сам текст, который объясняет почему не индексируется сайт.

Почему сайт выпал из индекса
 

  Видим, что был заблокирован доступ для индексирующего робота поисковой системы. Надо выяснить почему. 

  Вот теперь с "чистой совестью", мы можем писать в поддержку нашего хостера и разбираться дальше. Пишем через обычную почту, объясняем ситуацию, "пугаем" поддержку письмом Яндекса :) 

  В результате получаем вот такой ответ:

Письмо в поддержку хостера
 

  Здесь давайте притормозим и вкратце разберем, как поисковик составляет свою базу? Поисковый робот (краулер или - паук) "гуляет" по сети Интернет и, находя новые сайты, заносит их содержимое в поисковую базу своей ПС. Причем "паук" регулярно возвращается на проиндексированные им уже ресурсы, посмотреть не появилось ли на них какой-либо новой информации? Можно сказать что он - "питается" их контентом.

 Робот это - программа, выглядящая для программного обеспечения, которое управляет показом сайта, как интернет-браузер пользователя. Визит бота это - одно соединение с сайтом с одного IP адреса в один момент времени. И вот здесь - важный момент!

  Если по какой-либо причине краулер не сможет получить доступ к сайту (временные проблемы у хостера, неправильная настройка веб-сервера на котором расположен сайт и т.д.) он может сообщить своей поисковой системе, что такого сайта просто нет и она влегкую исключит его из своей индексной базы (он из нее выпадет). Причем сайт, в принципе, будет у Вас прекрасно функционировать и Вы (до последнего момента) и знать ни о чем не будете!

 В моем случае произошла немного другая история: робот не смог (почему? - поддержка хостера тут глухо молчит) "зайти" на сайт и не придумал ничего лучше, как начать быстро соединяться с ним с разных IP адресов (он такое умеет), а настройки безопасности серьезного дата-центра хостера возьми и посчитай, что такое поведение есть признак хакерской атаки и забанила (заблокировала) все эти IP адреса.

  В итоге - все сработало на ура! Поисковик посчитал что ресурса больше нет и сайт выпал из индекса, система безопасности дата-центра отрапортовала об успешно отбитой хакерской атаке а я остался с... результатом взаимодействия этих двух "интеллектуальных" систем! Помните такие строчки одной из песен Владимира Высоцкого: "Доктор действовал во благо, жаль что благо - не мое" :)

  Короче говоря, пишу еще раз в службу поддержки "зеркала Рунета". Так мол и так, Ваш робот добавлен в "белый список" и больше блокироваться не будет. Через пару дней получаю вот такой ответ:

  Кликабельно:

Ответ службы поддержки

  Ну, слава богу! Процесс - пошел! Правда АП (апдейт, оно же - обновление) поисковой базы Яндекса происходит (в среднем) раз в пять дней, но - подождем, что еще остается?

  А пока - заходим в панель нашего веб мастера и видим вот такое радостное извещение:

Сайт начал снова индексироваться

  Запись буквально означает: выпавший из индекса сайт готов к переиндексации. В результатах выдачи его по прежнему нет, но после того, как на него очередной раз "зайдет" поисковый робот и занесет его в базу - появится там. А это дней 5-7, не меньше!.

  А пока - обратите Ваше внимание на приписку в ответном письме от сотрудников Яндекса: "С уважением, Платон Щукин". Письма от этого "человека" Вы будете получать часто (если будете переписываться с тех-поддержкой, разумеется). Это - псевдоним, который призван придать "человечности" нашему общению с бездушной машиной. Впрочем, (если Вы умудритесь поставить в тупик искусственный интеллект Платона) Вам может ответить действительно реальный человек :)

  И вот, заглянув по прошествии недели в веб-мастер я с удовольствием обнаружил вот такую картину:

Сайт вернулся в индекс

  Робот за первый заход загрузил (проиндексировал) 75 страниц моего сайта. Остальные, будем надеяться, - подтянутся после следующего "апа" (апдейта) поисковой базы. 

  Проверим для пущей убедительности это через строку поиска. Введем в нее команду: site:sebeadmin.ru

Проверяем индексацию сайта

  Видим - все нормально. Страницы действительно присутствуют и индексе ПС.

  А вот как выглядит график посещаемости моего ресурса по отдельным ПС за вчерашний день:

График посещаемости ресурса

  Как видите, дней за 10 ресурс полностью выбрался из "ямы" и это, без сомнения, - замечательно! Проблема в другом: почему он, собственно, в нее угодил? Ведь то, что сайт выпал из индекса это никак не потому, что он - не соответствует каким-то (придуманным кем-то) требованиям, а в силу откровенной "кривизны" работы поисковой системы (в данном случае - «Яндекс»). 

  Ну, неужели, дожившись до 2012-го года, нельзя до сих пор придумать адекватный способ проверки того, прекратил ресурс свое существование или нет? Зачем столь слепо доверять несовершенной программе, которая послала ПС сигнал о его недоступности и выбрасывать сайт из индекса? Можно, в конце концов, асессору и утрудиться - вручную зайти на страницу, удостоверившись в ее абсолютной доступности. 

  Примечание: асессор - человек, имеющий право вручную корректировать результаты выдачи и отвечающий за "обучение" машинного интеллекта. "Зеркало Рунета" располагает целым штатом асессоров.

  Но, почему-то мне кажется, что эти мои вопросы так останутся риторическими. Не в этом суть, а в том, что Вы должны знать о такой схеме поведения ПС и, по возможности, не дать ей шанса сделать так, чтобы Ваш сайт выпал из индекса! :) Почаще заглядывайте в панель веб-мастера и получайте в ней только приятные сообщения!



Понравилась статья?
Нажмите на кнопки ниже или оставьте комментарий !


Илона
У меня такая же проблема, только в отличие от Вас практически не понимаю, почему? За что? И что делать дальше?

[Ответить]
Илона
Вот что мне ответили с яндекса.

Мы проверили, сейчас никаких проблем с Вашим сайтом с нашей стороны нет, с ним все в порядке. В настоящее время невозможно выяснить, почему Ваш сайт отсутствовал в поиске, так как мы не храним подобную информацию. В ближайшее время он должен начать индексироваться и затем сможет появиться в поиске. Скорее всего, это произойдет в течение двух недель.
Спасибо Вам большое за ответ и за ссылку. Очень нужный и полезный сайт!

[Ответить]
Андрей
Как минимум, надо написать письмо в поддержку Яндекса. В отличие от Google, здесь можно рассчитывать на то, что ответит живой человек. Как максимум - попытаться параллельно разобраться, в чем причина этой ситуации? Посмотрите вот здесь (третий пост сверху). Думаю, приведенные там ресурсы смогут облегчить Вам задачу, Илона.

[Ответить]
Юрий
У меня вчера сайт полностью из Яндекса выпал, написал Платону, жду ответа. Было 300 посетителей с Яндекса, потом только 180 и он резко упал. В общем жесть.

[Ответить]
Андрей
Да, такое, к сожалению, случается. Посмотрите вот эту тему на нашем форуме (мой третий пост сверху). Возможно, некоторые из перечисленных ресурсов смогут помочь Вам в определении проблемы?

[Ответить]
gurzuf.me
У меня в обще происходит амаркорд с сайтом в Яндексе. Каждую неделю сайт слетает с поиска, супорт отписывается что все нормально, он появляется, и опять слетает. Причин установить не могут ... Хостеры бьют коленкой в гурудь что все нормально, вот такие пироги.

[Ответить]
Андрей
Посмотрите вот этот пост на нашем форуме (третий сверху). Там есть интересные ссылки на разные сервисы, которые, возможно, смогут помочь в Вашей ситуации?

[Ответить]
сергей
как изменять гугл когда в гугле ище поискова система маил ру.

[Ответить]
Андрей
Сергей, это Вы сейчас о чем спросили? Непредвзято и медленно прочтите свой вопрос (я Вашего монитора не вижу) и сами спросите себя: я что-то из него понял или нет?   !;)

[Ответить]
Данила Лужин
Спасибо огромное за статью, благодаря ей разобрался с проблемой, за что дико благодарен!

[Ответить]
Андрей
Пожалуйста, рад за Вас, Данила! Заходите к нам еще  :)

[Ответить]
Oleg
Пользователи и собственники сайтов оказываются в очень ущербной сттации из за нелепых ошибок роботов... И не важно какой это сайт... Блог за 100 рублей или интернет-магазин с миллинными бюджетами.

[Ответить]
Андрей
Есть такое дело! А потом еще - вводится новый алгоритм поисковика (естественно - "интеллектуальный") и - привет!

[Ответить]
Олег
Сегодня обнаружил что мой магазин полностью выпал из индекса яндекса. Homemarket.ru. Еще вчера было прондексированно порядка 300 страниц, захожу сегодня в вэбмастер яндексаьи вижу "ваш сайт еще не проиндексирован". Жуткое чувство, учитывая то что я кучу денег трачу на рекламу в яндекс директ. Спросил техподдержку хостинга, они ничего не знают. Остается только ждать ответ от преславутой техподдержки яндекса.

[Ответить]
Андрей
Знакомое чувство, Олег. Периодически пользуйтесь вот этими ресурсами для мониторинга сайта (третий пост сверху).

[Ответить]
Елена
У меня немного иная ситуация получилась - в webmaster.yandex.ru пишет: сайт не проиндексирован, а в поисковике находит, правда, не на первых страницах. Это после очередного обхода во вторник (я как раз новую статью разместила). Написала сразу в поддержку, пока молчат.
А на другой мой сайт робот наоборот набрал где-то 13 000 несуществующих страниц, еле убедила его не выводить их в поисковике.

[Ответить]
Андрей
По первому вопросу пока не знаю что сказать, а по поводу второго... Возможно, у Вас не очень правильно составлен файл robots.txt и он позволяет индексировать всякий "мусор" движка сайта?

[Ответить]
Елена
В том-то и дело, что нет. Сайт построен на чистом html-е вручную. ФТП взломали - пришлось вычищать полным удаление и повторной загрузкой, но точно не более 1000 файлов удалила, всё подчистила, для ускорения прописала в роботе запреты. И спустя месяц после удаления он отрыл где-то 13 000 страниц/

[Ответить]
Андрей
Да, взломанный FTP - проходили   !;) У меня, к примеру, поисковики наиндексировали кучу ненужного в скрипте комментариев к статьям (сначала у меня была включена их RSS лента и система рейтинга комментариев). Выключил, потому как - куча мусорных страниц образовалась. Я-то свой "мусор" видел, а у Вас, Елена, какие страницы там оказались?

[Ответить]
Елена
Взломщик загрузил на сайт каталог tmplog и файл lib.php. Робот их проиндексировал в короткие сроки и уже после удаления начал откуда-то создавать новые варианты типа в той папке (которой там уже не было).

[Ответить]
Андрей
Закройте этот каталог от индексации в файле robots, ненужное удаляйте через эту форму, и, конечно же, - конструктивный диалог со службой поддержки Яндекса. Вот посмотрите еще здесь есть пара интересных сервисов для вебмастеров!

[Ответить]
Елена
Спасибо. Ссылки очень интересные.

[Ответить]
Таисия

Извините, не могла написать сообщение полностью, из-за ограничений по знакам у Вас, продолжаю рассказывать о своей проблеме
Скажите, не может ли это быть причиной размещения мной рекл.банеров от адсенс.Может быть много рекламы?Дело в том, что я размещаю в ручную каждый рекл.блок на каждую страницу. От поисковиков их не закрываю. Видимо, делаю что-то не правильно?И все ли так плохо?

[Ответить]
Андрей
А какой адрес Вашего сайта, Таисия? Можете скинуть мне на почту. У меня, как видите, на сайте - тоже реклама от адсенс и ничего, в принципе. Что у Вас с контентом? Он - уникальный или скопированный откуда-то?

[Ответить]
Таисия

Мой сайт пропал в поиске Я,кроме главной.Пришло письмо, цитирую
(После анализа и классификации страниц Вашего сайта наши алгоритмы приняли решение ограничить его в поиске. Обратите внимание, что не все страницы, известные поиску Яндекса, включены в индекс и ранжируются высоко...)


[Ответить]

Страницы: [1] | [2] [Следующая] | [Последняя]

Оставить комментарий

Ваше имя:

Комментарий:
Введите символы: *
captcha
Обновить


Поиск по сайту
ФОРУМ нашего сайта !




Ресурсы по теме !