Пошуковий робот

Пошуковий робот ("веб-павук", краулер, спайдер) - програма, що є складовою частиною пошуковаї системи і призначена для обходу сторінок інтернету з метою занесення інформації про них (ключові слова) у базу.

Павуки здійснюють загальний пошук інформації в Інтернет. Павуки повідомляють про зміст знайденого документа, індексують його і добувають підсумкову інформацію. Вони також переглядають заголовки, деякі посилання і відправляють проіндексовану інформацію до бази даних пошукового механізму.