Ентропійна швидкість
Теорія інформації |
---|
У математичній теорії ймовірності шви́дкість ентропі́ї або шви́дкість джерела́ інформа́ції (англ. entropy rate, source information rate) стохастичного процесу — це, неформально, часова густина усередненої інформації в стохастичному процесі. Для стохастичних процесів зі зліченним індексом швидкістю ентропії Η(X) є границя спільної ентропії n членів процесу Xk, поділена на n, при прямуванні n до нескінченності:
коли ця границя існує. Альтернативною, пов'язаною величиною є
Для строго стаціонарних стохастичних процесів . Швидкість ентропії можна розглядати як загальну властивість стохастичних джерел; це є властивість асимптотичної рівнорозподіленості[en].
Швидкість ентропії для марковських ланцюгів
Оскільки стохастичний процес, визначений марковським ланцюгом, що є нерозкладним, аперіодичним і позитивно рекурентним, має стаціонарний розподіл , швидкість ентропії не залежить від початкового розподілу.
Наприклад, для такого марковського ланцюга Yk, визначеного на зліченному числі станів, за заданої матриці переходів Pij, H(Y) задається як
де μi є асимптотичним розподілом[en] цього ланцюга.
Простим наслідком цього визначення є те, що н. о. р. стохастичний процес має таку же швидкість ентропії, як і ентропія будь-якого з окремих членів цього процесу.
Див. також
- Джерело інформації (математика)[en]
- Марковське джерело інформації[en]
- Властивість асимптотичної рівнорозподіленості[en]
Джерела
- Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1] (англ.)