Пошуковий робот

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Пошуковий робот ("веб-павук", краулер, спайдер) - програма, що є складовою частиною пошукової системи і призначена для обходу сторінок інтернету з метою занесення інформації про них (ключових слів) у базу даних.

Павуки здійснюють загальний пошук інформації в Інтернеті. Вони повідомляють про зміст знайденого документа, індексують його і добувають підсумкову інформацію. Вони також переглядають заголовки, деякі посилання і відправляють проіндексовану інформацію до бази даних пошукового механізму.