Робот поисковой машины (бот от англ. bot, сокр. от англ. robot), который ходит по сайтам, индексируя их контент. Это автоматический скрипт, работающий по определенному расписанию.
Поисковые боты имеют свои юзер-агенты, по которым их легко определить и имеют определенную функцию. Например, существуют боты, индексирующие текстовый контент, видео и аудио контент, изображения, боты для блогов, для новостей и другие роботы.
Помимо поисковых роботов существуют другие, функция которых также работа с контентом, это могут быть различные сервисы или автоматические краулеры. Обычно боты предназначаются для выполнения работы, однообразной и повторяемой, с максимально возможной скоростью (очевидно, намного выше возможностей человека). Кроме того, боты находят применения в условиях, где требуется лучшая реакция, чем возможности человека (то есть, игровые боты, боты для интернет-аукционов и т.п.) или, что менее обычно, для имитации действий человека (то есть, боты для чатов и т.п.).
Основные вредоносные действия ботов:
1. Спам-боты, собирающие адреса E-mail из контактных форм и гостевых книг;
2. Программы, загружающие интернет-канал потоком ненужной информации (как правило, рекламного характера);
3. Сайты, собирающие информацию о безвредных сайтах, для использования ее в автоматически создаваемых дорвеях;
4. Некоторые вирусы и черви;
5. DoS- и DDoS-атаки;
6. Ботнеты и компьютеры-зомби.
Для поисковых ботов ограничить индексацию сайта можно с помощью файла robots.txt, однако некоторые недобросовестные боты могут игнорировать наличие этого файла. Полная защита от индексации может быть обеспечена другими механизмами, например, с помощью файла .htaccess.
Синонимы бота: поисковый робот