Поисковый робот — специальная программа, основной функцией которой является сканирование, анализ и фильтрация информации, полученной на страницах всех web-сайтов

Порядок обхода страниц, частота визитов, защита информации, а также критерии выделения значимой информации определяются алгоритмами поисковых систем.