Спільна ентропія

Теорія інформації
Ентропія Диференціальна ентропія Умовна ентропія Спільна ентропія Взаємна інформація Умовна взаємна інформація Відносна ентропія Ентропійна швидкість
Властивість асимптотичної рівнорозподіленості Швидкість–спотворення
Теорема Шеннона про кодування джерела Пропускна здатність каналу Теорема про кодування для зашумленого каналу Теорема Шеннона — Гартлі Алгоритмічна теорія інформації

Діаграма Венна різних мір інформації, пов'язаних із корельованими величинами X та Y. Область, яка міститься в обох колах, є спільною ентропією Η(X,Y). Коло ліворуч (червоний і фіолетовий) є особистою ентропією Η(X), в якому червоне є умовною ентропією Η(X|Y). Коло праворуч (синій та фіолетовий) є Η(Y), а синє в ньому є Η(Y|X). Фіолетове є взаємною інформацією I(X;Y).

У теорії інформації спі́льна ентропі́я — це міра невизначеності, пов'язана з набором змінних.

Визначення

Спільна ентропія Шеннона (в бітах) двох змінних $X$ та $Y$ визначається як

$H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!$

де $x$ та $y$ є конкретними значеннями $X$ та $Y$ відповідно, $P(x,y)$ є спільною ймовірністю трапляння цих значень разом, а $P(x,y)\log _{2}[P(x,y)]$ визначається як 0, якщо $P(x,y)=0$.

Для понад двох змінних $X_{1},...,X_{n}$ це визначення розширюється до

$H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!$

де $x_{1},...,x_{n}$ є конкретними значеннями $X_{1},...,X_{n}$ відповідно, $P(x_{1},...,x_{n})$ є ймовірністю трапляння цих значень разом, а $P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]$ визначається як 0, якщо $P(x_{1},...,x_{n})=0$.

Властивості

Більша за окремі ентропії

Спільна ентропія набору змінних є більшою за всі окремі ентропії змінних цього набору, або дорівнює їм.

$H(X,Y)\geq \max[H(X),H(Y)]$

$H(X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]$

Менша або дорівнює сумі окремих ентропій

Спільна ентропія набору змінних є меншою за суму окремих ентропій змінних цього набору, або дорівнює їй. Це є прикладом субадитивності. Ця нерівність є рівністю, якщо і лише якщо $X$ та $Y$ є статистично незалежними.

$H(X,Y)\leq H(X)+H(Y)$

$H(X_{1},...,X_{n})\leq H(X_{1})+...+H(X_{n})$

Відношення до інших мір ентропії

Спільна ентропія використовується у визначенні умовної ентропії

$H(X|Y)=H(Y,X)-H(Y)\,$,

і

$H(X_{1},\dots ,X_{n})=\sum _{k=1}^{N}H(X_{k}|X_{k-1},\dots ,X_{1})$

Вона також використовується у визначенні взаємної інформації

$I(X;Y)=H(X)+H(Y)-H(X,Y)\,$

У квантовій теорії інформації спільна ентропія узагальнюється до квантової спільної ентропії.

Джерела

• Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications. с. 613—614. ISBN 0-486-41147-8. (англ.)