Власна інформація

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Власна інформація(англ. self-information) — це міра інформаційного вмісту пов'язаного з виходом випадкової величини. Вона вимірюється одиницями інформації, наприклад в бітах, натах або гартлі, залежно від основи логарифму використаного в обчисленнях. Термін власна інформація іноді використовують як синонім ентропія, тобто математичне сподівання власної інформації в першому сенсі, бо I(X; X)=H(X), де I(X;X) взаємна інформація X із собою.[1] Ці два значення не тотожні, і ця стаття описує тільки перше. Для другого дивись ентропія.

За визначенням, кількість власної інформації, що міститься в імовірнісній події залежить тільки від імовірності події: менша ймовірність, більше власної інформації пов'язано з отриманням інформації, що подія відбулась.

Далі, за визначенням, міра власної інформації є позитивною і адитивною. Якщо подія C є перетином двох незалежних подій A і B, тоді кількість інформації при оголошенні про те, що подія C сталась, дорівнює сумі кількостей інформації в оголошеннях про події A і B відповідно: I(A ∩ B)=I(A)+I(B).

Беручи до уваги ці властивості, власна інформація I(\omega_n) пов'язана з виходом \omega_n з імовірністю P(\omega_n) така:

I(\omega_n) = \log \left(\frac{1}{P(\omega_n)} \right) = - \log(P(\omega_n))

Це визначення відповідає попереднім умовам. У наведеному визначенні не вказана основа логарифму: якщо використовувати 2, одиницями \displaystyle I(\omega_n) будуть біти. Якщо використати основу \displaystyle e, одиницями будутьнати. Якщо основа 10, тоді гартлі.

Як швидке пояснення, інформаційний вміст пов'язаний з випадінням 4 аверсів (або будь-яким конкретним виходом) в 4 послідовних підкиданнях буде 4 біти (імовірність 1/16), а інформаційний вміст про невипадіння саме цього набору був би 0.09 біт (імовірність 15/16). Нижче подані розгорнутіші приклади.

Інформаційна ентропія випадкової події це математичне сподівання власної інформації.

Приклади[ред.ред. код]

I('tail') = log2 (1/0.5) = log2 2 = 1 біт інформації.
  • При викиданні правильної кістки, імовірність 4 становить 1/6. Проголошення випадіння 4 несе в собі
I('four') = log2 (1/(1/6)) = log2 (6) = 2.585 біти власної інформації.
  • Коли, незалежно, викинуті дві кістки, сума інформації пов'язаної з {кидок 1 = 'два' & кидок 2 = 'чотири'} дорівнює
I(кидок 1 = 'два' & кидок 2 = 'чотири') = log2 (1/P(кидок 1 = 'два' & кидок 2 = 'чотири')) = log2 (1/(1/36)) = log2 (36) = 5.170 біт.
Цей вихід дорівнює сумі окремих кількостей власної інформації пов'язаної з {кидок 1 = 'два'} і {кидок 2 = 'чотири'}; а саме 2.585 + 2.585 = 5.170 біт.
  • В ситуації з двома кістками ми можемо розглянути інформацію присутню в твердженні «Сума двох кидків становить п'ять»
I('Сума двох кидків становить п'ять') = log2 (1/P('кидок 1 і 2 в сумі дають п'ять')) = log2 (1/(4/36)) = 3.17 бітів. Отримуємо (4/36), бо існує чотири варіанти з 36, щоб отримати 5. Це показує як складні або неоднозначні події можуть давати інформацію.
  • Об'єм тексту 3кб, він містить 3072 символи. Знайти потужність алфавіту.

N- потужність алфавіту. Q- Об'єм тексту. К - кількість символів. I - розмір одного символа (біт) N=2^I I=Q/K=3072 = 1 байт = 8 біт N= 2^8 = 256 - потужність алфавіту

Примітки[ред.ред. код]

  1. Thomas M. Cover, Joy A. Thomas; Elements of Information Theory; p. 20; 1991.

Посилання[ред.ред. код]