Ентропія Реньї

У теорії інформації ентропія Реньї — узагальнення ентропії Шеннона — є сімейством функціоналів, використовуваних як міра кількісної різноманітності, невизначеності або випадковості деякої системи. Названо на честь Альфреда Реньї.

Якщо деяка система має дискретну множину доступних станів $X=\{x_{1},...,x_{n}\}$, якій відповідає розподіл імовірностей $p_{i}$ для $i=1,...,n$ (тобто $p_{i}$ — ймовірності перебування системи в станах $x_{i}$), то ентропія Реньї з параметром $\alpha$ (при $\alpha \geq 0$ і $\alpha \neq 1$) системи визначається як

$\mathrm {H} _{\alpha }(X)={\frac {1}{1-\alpha }}\log \sum _{i=1}^{n}p_{i}^{\alpha }={\frac {1}{1-\alpha }}\log {\Big \langle }p^{\alpha -1}{\Big \rangle }$ ,

де кутовими дужками позначено математичне очікування за розподілом $p_{i}$ ($p$ — ймовірність перебування системи в деякому стані як випадкова величина), логарифм береться за основою 2 (для рахунку в бітах) чи іншою зручною основою (більшою від 1). Основа логарифма визначає одиницю вимірювання ентропії. Так, у математичній статистиці зазвичай використовується натуральний логарифм.

Якщо всі ймовірності $p_{i}=1/n$, тоді за будь-якого $\alpha$ ентропія Реньї $\mathrm {H} _{\alpha }(X)=\log n$. Інакше $\alpha$-ентропія спадає як функція $\alpha$. Причому вищі значення $\alpha$ (що прямують до нескінченності) надають ентропії Реньї значення, більшою мірою визначені лише найвищими ймовірностями подій (тобто внесок в ентропію малоймовірних станів зменшується). Проміжний випадок $\alpha =1$ у границі дає ентропію Шеннона, яка має особливі властивості. Нижчі значення $\alpha$ (що прямують до нуля), дають значення ентропії Реньї, яке зважує можливі події рівномірніше, менше залежно від їх імовірностей. А при $\alpha =0$ отримуємо максимально можливу $\alpha$-ентропію, рівну $\log n$ незалежно від розподілу (тільки аби $p_{i}\neq 0$).

Сенс параметра $\alpha$ можна описати, кажучи неформальною мовою, як сприйнятливість функціоналу до відхилення стану системи від рівноважного: що більше $\alpha$, то швидше зменшується ентропія за відхилення системи від рівноважного стану. Сенс обмеження $\alpha \geq 0$ полягає в тому, щоб забезпечувалося збільшення ентропії за наближення системи до рівноважного (більш імовірного) стану. Ця вимога є природною для поняття «ентропія». Слід зауважити, що для ентропії Цалліса, яка еквівалентна ентропії Реньї з точністю до незалежного від $X$ монотонного перетворення, відповідне обмеження часто опускають, при цьому для від'ємних значень параметра замість максимізації ентропії використовують її мінімізацію.

Ентропія Реньї відіграє важливу роль в екології і статистиці, визначаючи так звані індекси різноманітності. Ентропія Реньї також важлива в квантовій інформації, її можна використовувати як міру складності. У ланцюжку Гейзенберга $XY$ ентропію Реньї розраховано в термінах модулярних функцій, що залежать від $\alpha$. Вони також призводять до спектру показників фрактальної розмірності.

Η_α для деяких конкретних значень α

Деякі окремі випадки

• при $\alpha =0$ ентропія Реньї не залежить від імовірностей станів (вироджений випадок) і дорівнює логарифму числа станів (логарифму потужності множини $X$):

$\mathrm {H} _{0}(X)=\log n=\log |X|$ .

Цю ентропію іноді називають ентропією Гартлі. Вона використовується, наприклад, у формулюванні принципу Больцмана.

• У границі при $\alpha \to 1$, можна показати, використовуючи правило Лопіталя, що $\mathrm {H} _{\alpha }$ збігається до ентропії Шеннона. Таким чином, сімейство ентропій Реньї можна довизначити функціоналом

$\mathrm {H} _{1}(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}\mathrm {H} _{\alpha }(X)=\mathrm {H} (X)=-\sum _{i=1}^{n}p_{i}\log p_{i}$ .

• Квадратична ентропія, іноді звана ентропією зіткнень, — це ентропія Реньї з параметром $\alpha =2$:

$\mathrm {H} _{2}(X)=-\log \sum _{i=1}^{n}p_{i}^{2}=-\log \operatorname {Prob} \{x=y\}$ ,

де $x$ і $y$ — незалежні випадкові величини, однаково розподілені на множині $X$ з імовірністю $p_{i}$ ($i=1,...,n$). Квадратична ентропія використовується у фізиці, обробці сигналів, економіці.

• Існує границя

$\mathrm {H} _{\infty }(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to \infty }\mathrm {H} _{\alpha }(X)=-\log \sup _{i}p_{i}$ ,

яку називають min-ентропією, тому що це найменше значення $\mathrm {H} _{\alpha }$. Ця ентропія також є виродженим випадком, оскільки її значення визначається тільки найбільш імовірним станом.

Нерівності для різних значень α

Два останніх випадки пов'язані співвідношенням $\mathrm {H} _{\infty }<\mathrm {H} _{2}<2\mathrm {H} _{\infty }$. З іншого боку, ентропія Шеннона $\mathrm {H} _{1}(X)$ може бути як завгодно високою для розподілу X із фіксованою min-ентропією.

$\mathrm {H} _{2}<2\mathrm {H} _{\infty }$ тому що $\log \sum \limits _{i=1}^{n}{p_{i}^{2}}\geq \log \sup _{i}p_{i}^{2}=2\log \sup _{i}p_{i}$ .

$\mathrm {H} _{\infty }<\mathrm {H} _{2}$, тому що $\log \sum \limits _{i=1}^{n}{p_{i}^{2}}<\log \sup _{i}p_{i}\left({\sum \limits _{i=1}^{n}{p_{i}}}\right)=\log \sup _{i}p_{i}$ .

$\mathrm {H} _{1}\geq \mathrm {H} _{2}$ відповідно до нерівності Єнсена $\sum \limits _{i=1}^{n}{p_{i}\log p_{i}}\leq \log \sum \limits _{i=1}^{n}{p_{i}^{2}}$ .

Розходження (дивергенції) Реньї

Крім сімейства ентропій, Реньї також визначив спектр мір розходжень (дивергенцій), які узагальнюють розходження Кульбака — Лейблера. Формули цього розділу записано в загальному вигляді — через логарифм за довільною основою. Тому потрібно розуміти, що кожна наведена формула являє собою сімейство еквівалентних функціоналів, визначених з точністю до сталого (додатного) множника.

Розходження Реньї з параметром $\alpha$, де $\alpha >0$ і $\alpha \neq 1$, розподілу $Q$ відносно розподілу $P$ (або «відстань від $P$ до $Q$») визначається як

$D_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\log \sum _{i=1}^{n}p_{i}^{\alpha }q_{i}^{1-\alpha }={\frac {1}{\alpha -1}}\log {\Big \langle }(p/q)^{\alpha -1}::P{\Big \rangle }$

або (формально, без урахування нормування ймовірностей)

$D_{\alpha }(P\|Q)=-\mathrm {H} _{\alpha }{\Bigg (}{\frac {p}{q^{1-1/\alpha }}}{\Bigg )}$ ,

$\mathrm {H} _{\alpha }(P)=-\left.D_{\alpha }(P\|Q)\right|_{q=1}$.

Як і розходження Кульбака — Лейблера, розходження Реньї є невід'ємним для $\alpha >0$.

Деякі окремі випадки

• При $\alpha =0$ дивергенція Реньї не визначена, однак сімейство дивергенцій можна довизначити елементом

$D_{0}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 0}D_{\alpha }(P\|Q)=-\log \sum _{i=1}^{n}q_{i}\operatorname {sgn} p_{i}$ : мінус логарифм від суми ймовірностей $q$, таких що відповідні $p>0$.

• $D_{1/2}(P\|Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}}$ : відстань Бгаттачар'я (мінус логарифм від коефіцієнта Бгаттачар'я, несуттєвим множником $2$ нехтуємо). Це розходження, з точністю до монотонного перетворення, еквівалентне відстані Геллінгера та сферичній відстані Бгаттачар'я — Рао, проте на відміну від них не задовольняє нерівності трикутника, а тому не є метрикою в просторі розподілів.

• $D_{1}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}D_{\alpha }(P\|Q)=D_{KL}(P\|Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}={\Big \langle }\log {\frac {p}{q}}::P{\Big \rangle }$ : розходження Кульбака — Лейблера (дорівнює математичному сподіванню відносно розподілу $P$ логарифма відношення ймовірностей $p/q$).

• $D_{2}(P\|Q)=\log \sum _{i=1}^{n}{\frac {p_{i}^{2}}{q_{i}}}=\log {\Big \langle }{\frac {p}{q}}::P{\Big \rangle }$ : логарифм математичного сподівання за розподілом $P$ відношення ймовірностей $p/q$. Це розходження з точністю до монотонного перетворення еквівалентне розходженню хі-квадрат $D_{\chi ^{2}}(Q\|P)=\sum _{i=1}^{n}{\frac {(p_{i}-q_{i})^{2}}{q_{i}}}$ .

• $D_{\infty }(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to \infty }D_{\alpha }(P\|Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}$ : Логарифм найбільшого відношення ймовірностей $p/q$.

Чому випадок $\alpha =1$ — особливий^{[уточнити]}

Значення $\alpha =1$, яке відповідає ентропії Шеннона і розходженню Кульбака — Лейблера, є особливим, тому що тільки в цьому випадку можна виділити змінні A і X зі спільного розподілу ймовірностей, такі що виконується

$\mathrm {H} (A,X)=\mathrm {H} (A)+\mathbb {E} _{p(a)}\{\mathrm {H} (X|a)\}$

для ентропії, і

$D_{\mathrm {KL} }(p(x|a)p(a)||m(x,a))=\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)||m(x|a))\}+D_{\mathrm {KL} }(p(a)||m(a))$ -

для дивергенції.

Останнє означає, що якщо ми шукатимемо розподіл $p(x,a)$, який зводить до мінімуму розходження деяких основоположних мір $m(x,a)$, і отримаємо нову інформацію, яка впливає тільки на розподіл $a$, то розподіл $p(x|a)$ не буде залежати від змін $m(x|a)$.

У загальному випадку розходження Реньї з довільними значеннями $\alpha$ задовольняють умовам незаперечності, неперервності та інваріантності відносно перетворення координат випадкових величин. Важливою властивістю будь-яких ентропії і дивергенції Реньї є адитивність: коли $A$ і $X$ незалежні, з $p(A,X)=p(A)p(X)$ випливає

$\mathrm {H} _{\alpha }(A,X)=\mathrm {H} _{\alpha }(A)+\mathrm {H} _{\alpha }(X)$

і

$D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\alpha }(P(X)\|Q(X))$ .

Найсильніші властивості випадку $\alpha =1$, які передбачають визначення умовної інформації і взаємної інформації з теорії зв'язку, можуть бути дуже важливими в інших застосуваннях або зовсім не важливими, залежно від вимог цих застосувань.

Перехресна ентропія Реньї

Перехресна ентропія $\mathrm {H} _{\alpha }(P,Q)$ від двох розподілів з імовірностями $p_{i}$ і $q_{i}$ ($i=1,...,n$) в загальному випадку може визначатися по-різному (залежно від застосування), але має задовольняти умові $\mathrm {H} _{\alpha }(P,P)=\mathrm {H} _{\alpha }(P)$. Один з варіантів визначення (аналогічну властивість має перехресна ентропія Шеннона):

$\mathrm {H} _{\alpha }(P,Q)=\mathrm {H} _{\alpha }(P)+D_{\alpha }(P,Q)$ .

Інше визначення, запропоноване А. Реньї, можна отримати з таких міркувань. Визначимо ефективне число станів системи як середнє геометричне зважене від величин $1/q_{i}$ з вагами $p_{i}$:

${\overline {n}}=\prod _{i=1}^{n}(1/q_{i})^{p_{i}}$ .

Звідси випливає вираз для перехресної ентропії Шеннона

$\mathrm {H} (P,Q)=\log {\overline {n}}=-\sum _{i=1}^{n}p_{i}\log q_{i}$ .

Міркуючи аналогічно, визначимо ефективне число станів системи як середнє степеневе зважене від величин $1/q_{i}$ з вагами $p_{i}$ і параметром $1-\alpha$:

${\overline {n}}=\left(\sum _{i=1}^{n}p_{i}(1/q_{i})^{1-\alpha }\right)^{\frac {1}{1-\alpha }}=\left(\sum _{i=1}^{n}p_{i}q_{i}^{\alpha -1}\right)^{\frac {1}{1-\alpha }}$.

Таким чином, перехресна ентропія Реньї має вигляд

$\mathrm {H} _{\alpha }(P,Q)=\log {\overline {n}}={\frac {1}{1-\alpha }}\log \sum _{i=1}^{n}p_{i}q_{i}^{\alpha -1}={\frac {1}{1-\alpha }}\log {\Big \langle }q^{\alpha -1}::P{\Big \rangle }$ .

• Легко бачити, що в разі, якщо розподіли ймовірностей $p$ і $q$ збігаються, перехресна ентропія Реньї збігається з ентропією Реньї.
• Також при $\alpha \to 1$ перехресна ентропія Реньї збігається до перехресної ентропії Шеннона.
• властивість $\mathrm {H} (P,Q)=\mathrm {H} (P)+D_{KL}(P\|Q)\geq \mathrm {H} (P)$, істинна для перехресної ентропії Шеннона, в загальному випадку не має місця. Перехресна ентропія Реньї може бути як більшою, так і меншою від ентропії Реньї.

Неперервний випадок

Для формального узагальнення ентропії Шеннона на випадок неперервного розподілу служить поняття диференціальна ентропія. Цілком аналогічно визначається диференційна ентропія Реньї:

$\mathrm {H} _{\alpha }(f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{f^{\alpha }(x)}dx$ .

Розходження (дивергенція) Реньї в неперервному випадку також є узагальненням розходження Кульбака — Лейблера і має вигляд

$D_{\alpha }(g,f)={\frac {1}{\alpha -1}}\log \int \limits _{X}^{}{g^{\alpha }(x)f^{1-\alpha }(x)}dx$ .

Визначення перехресної ентропії, запропоноване А. Реньї, в неперервному випадку має вигляд

$\mathrm {H} _{\alpha }(g,f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{g(x)f^{\alpha -1}(x)}dx$ .

У наведених формулах $f(x)$ і $g(x)$ — деякі функції густини розподілу ймовірностей, визначені на інтервалі $X\subseteq R$, і покладається $\alpha >0$, $\alpha \neq 1$ .

Література

• https://web.archive.org/web/20130517085559/http://digitalassets.lib.berkeley.edu/math/ucb/text/math_s4_v1_article-27.pdf (PDF). Proceedings of the 4th Berkeley Symposium on Mathematics, Statistics and Probability 1960. 1961. с. 547—561. Архів оригіналу (PDF) за 17 травня 2013. Процитовано 14 травня 2021. {{cite conference}}: Пропущений або порожній |title= (довідка)
• A. O. Hero, O.Michael and J. Gorman. Alpha-divergences for Classification, Indexing and Retrieval. — 2002. — 30 April. Архівовано з джерела 11 лютого 2012. Процитовано 14 травня 2021.
• F. Nielsen and S. Boltz. The Burbea-Rao and Bhattacharyya centroids. — 2010. — 30 April. Архівовано з джерела 21 лютого 2022. Процитовано 14 травня 2021.
• OA Rosso EEG analysis using wavelet-based information tools. Journal of Neuroscience Methods 153 (2006) 163—182
• Rényi entropy as a measure of entanglement in quantum spin chain: F. Franchini, AR Its, VE Korepin, Journal of Physics A: Math. Theor. 41 (2008) 025302 [1]