Теорія інформації

Теóрія інформáції — це розділ математики, який досліджує процеси зберігання, перетворення і передачі інформації. Теорія інформації тісно пов’язана з такими розділами математики як теорія ймовірностей і математична статистика. Вона пов’язана з інформаційною ентропією, комунікаційними системами, криптографією, корекцією помилок і іншими важливими областями.

Аксіоми теорії інформації:

1. Інформація є лише там, де функціонують пристрої керування.

2. Інформація зберігається і передається тільки на матеріальному носії.

3. Інформація має ідеальний характер.

4. Інформація має різні форми.

Базові закони теорії інформації:

Закон 1: на отримання інформації будь-яка кібернетична система витрачає не менше деякої мінімальної кількості енергії.

Закон 2: кількість інформації, яку отримує кібернетична система в процесі розпізнавання після прийняття певного сигналу, дорівнює логарифму при основі m від кількості варіантів вибору, що передували розпізнаванню.

Закон 3: що меншою є ймовірність завершення якогось випробування з певним результатом, то більше інформації для будь-якої кібернетичної системи несе саме цей результат, і навпаки.

Закон 4: будь-які сигнали, отримані кібернетичною системою, впливають на цю систему.

Історія

Виникнення теорії інформації зазвичай пов’язують із появою у 1948 р. фундаментальної праці американського вченого Клода Шеннона „Математична теорія зв’язку”.

Теорія Шеннона (якого вважають „батьком” теорії інформації), з самого початку розглядалась як точно сформульована математична задача і дала можливість інженерам визначати ємність комунікаційного каналу.

Основа

В основі теорії інформації лежить запропонований Шенноном спосіб обчислення кількості інформації як випадкової величини відносно іншої випадкової величини. Для дискретних випадкових величин X і Y, заданих законами розподілу $P(X = X_i) = p_i, P(Y = Y_j) = q_j$ і спільним законом розподілу $P(X = X_i, Y = Y_j) = p_{i,j}$, кількість інформації в X відносно Y, дорівнює

$I(X, Y) = \sum_{i,j} p_{i,j} \log_2 \frac{p_{i,j}}{p_i q_j}$

Бібліографія

• Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1963. ISBN 0-252-72548-4
• Thomas M. Cover, Joy A. Thomas. Elements of information theory New York: Wiley, 1991. ISBN 0-471-06259-6
• R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
• Maxwell's Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, Princeton University Press, Princeton, NJ (1990). ISBN 0-691-08727-X
• Колмогоров А.Н. Три подхода к определению понятия "Количество информации"

Посилання

• «Енциклопедія кібернетики», відповідальний ред. В. Глушков, 2 тт., 1973, рос. вид. 1974;
• Shannon C.E. A Mathematical Theory of Communication (PDF, 358 КБ, англ.)
• Колмогоров А.Н. Три подхода к определению понятия "количество информации" (PDF, 200 КБ, рос.)

Див. також

Інформологія