Пошуковий робот: відмінності між версіями

Пошуковий робот (також англ. web crawler, англ. web spider) — програма, що є складовою частиною пошукової системи та призначена для обходу сторінок інтернету з метою занесення інформації про них (ключових слів) до бази даних.

Пошукові роботи здійснюють загальний пошук інформації в Інтернеті. Вони повідомляють про зміст знайденого документа, індексують його і добувають підсумкову інформацію. Вони також переглядають заголовки, деякі посилання і відправляють проіндексовану інформацію до бази даних пошукового механізму.

Було запропоновано приєднати статтю Краулінг до цієї статті або розділу, але, можливо, це варто додатково обговорити. Пропозиція з грудня 2017.

Як закрити сайт від індексації

За допомогою файла robots.txt
За допомогою мета-тегу

Посилання

A History of Search Engines (англ.)

Це незавершена стаття про Інтернет.
Ви можете допомогти проєкту, виправивши або дописавши її.

Ця стаття потребує додаткових посилань на джерела для поліпшення її перевірності. Будь ласка, допоможіть удосконалити цю статтю, додавши посилання на надійні (авторитетні) джерела. Зверніться на сторінку обговорення за поясненнями та допоможіть виправити недоліки.
Матеріал без джерел може бути піддано сумніву та вилучено.

п о р Веб і вебсайти

Глобально	Всесвітнє павутиння (Веб 1.0 • Веб 2.0 • Веб 3.0) • Семантична павутина • Нейронет

Локально	Вебсайт • Портал • Сторінка • Служба • Кільце

Види сайтів і серівісів	Віртуальний атлас • Банерна мережа • Бібліотека • Блог (платформа) • Відеохостинг • Вікі • Сайт-візитка • Питання-відповідь • Закладки • Служби знайомств • Браузерна гра • Вебкаталог • Інтернет-магазин • Мікроблог • Новинний сайт • Пошукова система • Порносайт • Вебпошта • Соціальна мережа • Тамблелог • BitTorrent-трекер • Файлообмінник • Форум • Іміджборд • Фотохостинг • Чат

Створення та обслуговування	Майстер • Розробка • Дизайн • Верстка • Програмування • Використовність • Досвід користування • SEO • Хостинг • Системний адміністратор • Модератор • Обліковий запис • Авторизація

Типи макетів, сторінок, сайтів	Статичний • Динамічний • Фіксований • Гумовий • Динамічно-еластичний • Адаптивний

Технічне	Вебсервер (порівняння) • Браузер (порівняння) • DNS • CMF • CMS • HTTP (відповіді • заголовки) • SPDY • QUIC • CGI • HTML • XHTML • CSS • PHP • JavaScript • DHTML • Cookie • DOM • XML • AJAX • JSON • Flash • RSS • Atom • Мікроформат • favicon.ico • robots.txt • Sitemaps • Мапа сайту • .htaccess

Маркетинг	Інтернет-реклама • Електронний маркетинг • Медійна реклама • Партнерська програма • Електронний маркетинг • Конверсія • Реклама на екрані • Email-маркетинг • PPC • RTB • Header Bidding

Соціум і культура	Блогосфера • Віртуальна спільнота • Мережева література

Портал «Інформаційні технології»

@@ Рядок 15: / Рядок 15: @@
 {{додаткові джерела}}
-{{Інтернет}}
 {{Веб-сайти}}
 {{ВП-портали|Інформаційні технології|}}

Пошуковий робот: відмінності між версіями

Версія за 09:13, 30 липня 2019

Як закрити сайт від індексації

Посилання

Навігаційне меню