Пауки или роботы поисковой системы Google

роботы системы Google

Автор:

Дата: 05/03/2013

Теги: google, webmasters, feedburner, googlebot, spider

Узнать о появлении нового сайта или статьи Google может несколькими способами:

  1. Сообщение от владельца

Веб-мастер или владелец сайта сообщает поисковой системе напрямую через специальный сервис, который называется инструменты для веб-мастеров.

google tools

Для того, чтобы Google отреагировал на сообщение, требуется подтвердить, что Вы являетесь владельцем сайта. В системе предусмотрено несколько способов для этого: указанием специального кода на страницах сайта, загрузкой на сайт предложенного файла или с помощью изменения настроек адреса вашего сайта.

Адреса страниц сайта передаются в виде файла, содержащего список адресов, записанных в определенном формате. Подробную информацию о том как создать такой файл можно найти в справке Google.

  1. Автоматическое оповещение с сайта

Сайт может самостоятельно сообщить поисковой системе о своем существовании или о том, что на нем появился новый контент. Такой вариант становится возможным, если на сайте реализован функционал RSS-канала. Большинство CMS (систем управления контентом сайта) имеют такой функционал по умолчанию.

google feedburner

Передача сообщения в поисковую систему производится через систему-посредника FeedBurner.

  1. По ссылкам с других сайтов

Даже если никто не сообщит поисковику о новом сайте, с большой долей вероятности поисковая система найдет его самостоятельно. В базе данных Google хранится огромный список адресов сайтов, о которых ему уже известно. Специальные программы: роботы (по-другому их называют боты и пауки) регулярно посещают сайты из этого списка в поисках изменений. Если на каком-либо ресурсе они обнаруживают ссылку на неизвестный им сайт, они включают адрес обнаруженного сайта в список, с которым работают. Таким образом достаточно, чтобы кто-то на уже известном поисковой системе ресурсе поставил ссылку на новый сайт, чтобы Google узнал о нем.

googlebot

Для того, чтобы сбор информации был максимально эффективным, в Google предусмотрено разделение обязанностей между поисковыми роботами. У каждого из них есть своя зона ответственности: поиск текстовой информации, поиск картинок, видео, сбор информации о версиях сайтов для мобильных устройств. В справочном разделе Google содержится список всех поисковых роботов.

Поисковым роботам можно давать указания: добавлять или исключать из индекса поисковой системы определенные сайты, страницы или даже единичные изображения. Делается это с помощью директив в коде сайта или специального файла robots.txt.

После сбора информации роботами поисковой системы, все данные сохраняются в базе данных для последующей обработки, и об этом мы поговорим в следующей статье.

В следующей статье будет рассмотрено