О поисковых роботах

                              О поисковых роботах

     Что же такое поисковый робот (паук)? Что можно сказать о поисковых роботах? Это специальная программа, которая перебирает страницы сети и заносит в базу данных поисковиков, всю информацию о сайтах. Эта программа – часть поисковых систем. У пауков есть сходство с браузерами, по принципу работы. Содержимое страниц анализируется, сохраняется на сервере поисковых машин в специализированном виде и отправляется на последующие страницы по ссылкам.

Глубину анализа пауков внутрь сайтов ограничивают разработчики. Максимальное количество символов в сканируемом тексте тоже ограничивается и слишком большие сайты могут индексироваться не до конца.

Есть ещё робот — “зеркальщик”. Он ищет сайты, которые повторяются. “Дятлы” – это роботы, которые для определения доступности индексированных сайтов, “простукивают” их. Часто обновляемые сайты проверяют быстророботы.

Существуют поисковые алгоритмы, определяющие очередность обхода страниц, частоту посещений, критерии выделения важной информации и защиту от зацикливания.

Можно самостоятельно добавить сайт в очередность для индексирования. Эту возможность предоставляют Google, Яндекс, Рамблер, Mail.ru и большинство других поисковых систем. Это ускоряет индексирование сайта.

Больше всего роботов-пауков интересует на сайте текстовая составляющая – контент. Естественно, он должен быть уникальным. Часть контента можно закрыть от индексации роботами. Например, страницы с профилями зарегистрированных пользователей, личную переписку и т.п. Для этого нужно прописать имена роботов в файле robots.txt в поле User-agent. Для Google-Googlebot, для Яндекс-Yandex, для Yahoo-Yahoo!, для Rambler-Stack Rambler и т.д.

Поисковый робот действует по своим, чётко заданным алгоритмам, на которые мы повлиять не можем. И как нам хочется, он работать не будет.

 

Вот это кратко о поисковых роботах.