Інформативність ознак

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку

Інформати́вність озна́к — величина, яка кількісно характеризує придатність ознак (або їх набору) X для розпізнавання класів об'єктів. При цьому передбачається, що пред'явлені для розпізнавання об'єкти представляються сигналами х в просторі ознак .

У розпізнаванні образів як інформативність ознак використовуються умовна ентропія, ймовірність помилки розпізнавання, дивергенція Кульбака, дисперсійна міра і інші величини. Найчастіше зустрічається умовна ентропія :


,
де  — множина класів,
 — ознаки,
 — номер класу,
 — сигнал в просторі ознак ,
 — густина ймовірності появи сигналу ,
 — апостеріорна ймовірність класу за умови спостереження сигналу .

У разі, коли ознаки дозволяють безпомилково указувати клас, умовна ентропія дорівнює нулю. При порівнянні двох наборів ознак інформативнішим є той, який характеризується меншою умовною ентропією. На практиці використовування інформативності ознак ускладнене через невідому ймовірність і .

При виборі інформативних ознак частіше за все виходять з властивостей тих сигналів, які збираються класифікувати. Облік властивостей сигналів дозволяє приблизно судити про розподіли ) і і знаходити достатньо інформативні ознаки. Інформативність набору ознак слід відрізняти від інформативності окремих ознак набору.

Тільки у тому випадку, коли ознаки незалежні за умови окремих класів, інформативність набору ознак рівна сумі інформативності окремих ознак. В цьому випадку на підставі інформативності окремих ознак можна складати самі інформативні набори. Якщо ознаки залежні, інформативність ознак не виражається через інформативність окремих ознак, а вибір самих інформативних наборів по інформативності окремих ознак стає неможливим.

Див. також[ред. | ред. код]

Література[ред. | ред. код]

  1. Енциклопедія кібернетики : у 2 т. / за ред. В. М. Глушкова. — Київ : Гол. ред. Української радянської енциклопедії, 1973.
  2. Ковалевский В. А. Задача распознавания образов с точки зрения математической статистики. В кн.: Читающие автоматы и распознавание образов. К., 1965;
  3. Кульбак С. Теория информации и статистика. Пер. с англ. М., 1967 [библиогр. с. 364—381].

Т. К. Винцюк.