Отвечайте роботам правильно!

Довольно часто у вебмастеров возникает вопрос: «Почему мой сайт неверно индексируется роботами поисковых машин?». На днях компания Яндекс запустила новый инструмент в Яндекс.Вебмастере, который призван помочь найти на него ответ. В разделе «Индексирование сайта» появился подраздел «История индексирования».

Здесь представлены два графика. Один из них отображает общее количество обращений робота (индексатора) к серверу, и количество ошибок подключения, ошибок DNS, возникающих при попытке доступа. Данные представлены в виде гистограммы, где по оси X отложено время (последние полмесяца), а по оси Y количество запросов. Удачные подключения показаны зеленым цветом, ошибки подключения красным, а ошибки DNS серым цветом.

На первом графике мы видим, что 16 декабря около 8 часов утра было 4 запроса из которых 1 вызвал ошибку. Через пятнадцать минут было 4 удачных подключения, а еще через час опять была неудачная попытка робота достучаться до сайта.

Для вебмастера это повод проанализировать логи сервера за тот период, чтобы понять и устранить причины данной ошибки.

Возможные причины ошибок - сервер был перегружен и не смог принять и обработать запрос поискового робота, возможно были иные технические причины, которые стоит рассмотреть и постараться исключить их появление в дальнейшем.

Второй график показывает с привязкой ко времени количество ответов сервера с разными HTTP-заголовками. Структура графика аналогична первому. Зеленым цветом выделены ответы сервера с кодом 200, темно синим — трехсотые (редиректы), ярко красным — четырехсотые, основным представителем которых является ошибка 404 (Not Found), а темно фиолетовым — пятисотые ошибки (внутренние ошибки сервера)(Подробнее об ошибках и их видах можно почитать здесь).

Так, в приведенном примере 16 декабря в районе полудня робот запросил две страницы, на одну из которых сервер ответил редиректом, а на вторую — кодом 200. Не исключено,что имеется ввиду переход поискового бота по пути, указанном в редиректе на рабочую страницу.

В чем польза графического отображения этих данных?

• вебмастер сможет увидеть и оценить, верно ли настроен веб-сервер, получает ли поисковый бот доступ к контенту сайта;

• возможность оценить нагрузку на сервер. Если ошибки вызваны большим количеством одновременных запросов, можно задуматься об увеличении мощности сервера или ограничении минимального времени между запросами (директива Crawl-Delay Вам в помощь);

• графики позволяют увидеть в наглядной форме проблемы с самим сайтом (пятисотые ошибки, переход робота на несуществующую страницу по битым ссылкам и прочее).

На данный момент можно сказать лишь об одном недостатке этих графиков. Информацией, полученной с их помощью, нельзя пользоваться обособленно. Ведь без просмотра логов сервера нельзя понять, на какую именно страницу перешел Яндекс-бот, когда сервер отдал ему ошибку 404 или 504 (как и все иные). Если бы дополнительно выводились адреса страниц, исправить ошибку можно было бы оперативно и жизнь вебмастера стала еще легче. Будем ждать развития и модернизации этой идеи.