Ентропійна швидкість

Теорія інформації
Ентропія Диференціальна ентропія Умовна ентропія Спільна ентропія Взаємна інформація Умовна взаємна інформація Відносна ентропія Ентропійна швидкість
Властивість асимптотичної рівнорозподіленості Швидкість–спотворення
Теорема Шеннона про кодування джерела Пропускна здатність каналу Теорема про кодування для зашумленого каналу Теорема Шеннона — Гартлі Алгоритмічна теорія інформації

У математичній теорії ймовірності шви́дкість ентропі́ї або шви́дкість джерела́ інформа́ції (англ. entropy rate, source information rate) стохастичного процесу — це, неформально, часова густина усередненої інформації в стохастичному процесі. Для стохастичних процесів зі зліченним індексом швидкістю ентропії Η(X) є границя спільної ентропії n членів процесу X_k, поділена на n, при прямуванні n до нескінченності:

$\mathrm {H} (X)=\lim _{n\to \infty }{\frac {1}{n}}\mathrm {H} (X_{1},X_{2},\dots X_{n})$

коли ця границя існує. Альтернативною, пов'язаною величиною є

$\mathrm {H} '(X)=\lim _{n\to \infty }\mathrm {H} (X_{n}|X_{n-1},X_{n-2},\dots X_{1})$

Для строго стаціонарних стохастичних процесів $\mathrm {H} (X)=\mathrm {H} '(X)$. Швидкість ентропії можна розглядати як загальну властивість стохастичних джерел; це є властивість асимптотичної рівнорозподіленості.

Швидкість ентропії для марковських ланцюгів

Оскільки стохастичний процес, визначений марковським ланцюгом, що є нерозкладним, аперіодичним і позитивно рекурентним, має стаціонарний розподіл, швидкість ентропії не залежить від початкового розподілу.

Наприклад, для такого марковського ланцюга Y_k, визначеного на зліченному числі станів, за заданої матриці переходів P_ij, H(Y) задається як

$\displaystyle \mathrm {H} (Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}$

де μ_i є асимптотичним розподілом цього ланцюга.

Простим наслідком цього визначення є те, що н. о. р. стохастичний процес має таку же швидкість ентропії, як і ентропія будь-якого з окремих членів цього процесу.

Див. також

• Джерело інформації (математика)
• Марковське джерело інформації
• Властивість асимптотичної рівнорозподіленості

Джерела

• Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1] (англ.)