Пошуковий робот: відмінності між версіями
| [перевірена версія] | [перевірена версія] |
Додав два способа закриття сайту від індексації. Є ще способи |
Bunyk (обговорення | внесок) Немає опису редагування |
||
| Рядок 2: | Рядок 2: | ||
Павуки здійснюють загальний пошук інформації в [[Інтернет]]і. Вони повідомляють про зміст знайденого документа, [[Індекс бази даних|індексують]] його і добувають підсумкову інформацію. Вони також переглядають заголовки, деякі посилання і відправляють проіндексовану інформацію до бази даних пошукового механізму. |
Павуки здійснюють загальний пошук інформації в [[Інтернет]]і. Вони повідомляють про зміст знайденого документа, [[Індекс бази даних|індексують]] його і добувають підсумкову інформацію. Вони також переглядають заголовки, деякі посилання і відправляють проіндексовану інформацію до бази даних пошукового механізму. |
||
{{приєднати|Краулінг}} |
|||
== Як закрити від індексаціх сайт == |
== Як закрити від індексаціх сайт == |
||
Версія за 07:38, 20 грудня 2017
Пошуковий робот (також англ. web crawler, англ. web spider) — програма, що є складовою частиною пошукової системи та призначена для обходу сторінок інтернету з метою занесення інформації про них (ключових слів) до бази даних.
Павуки здійснюють загальний пошук інформації в Інтернеті. Вони повідомляють про зміст знайденого документа, індексують його і добувають підсумкову інформацію. Вони також переглядають заголовки, деякі посилання і відправляють проіндексовану інформацію до бази даних пошукового механізму.
 | Було запропоновано приєднати статтю Краулінг до цієї статті або розділу, але, можливо, це варто додатково обговорити. |
Як закрити від індексаціх сайт
- За допомогою файла robots.txt
- За допомогою мета-тегу
Посилання
- A History of Search Engines (англ.)
|
Це незавершена стаття про Інтернет. Ви можете допомогти проєкту, виправивши або дописавши її. |
 | Ця стаття потребує додаткових посилань на джерела для поліпшення її перевірності. |
| ||||||||||||||||||||
| ||||||||||||||||||||||||||
