Ентропія Цалліса
У статистичній термодинаміці ентропія Цалліса — узагальнення стандартної ентропії Больцмана — Гіббса, запропоноване Константіно Цаллісом (Constantino Tsallis)[1] 1988 року для випадку неекстенсивних (неадитивних) систем. Його гіпотеза базується на припущенні, що сильна взаємодія в термодинамічно аномальній системі призводить до нових ступенів вільності, до зовсім іншої статистичної фізики небольцманівського типу.
Нехай — розподіл імовірностей і — будь-яка міра на , для якої існує абсолютно неперервна відносно функція . Тоді ентропія Цалліса визначається як
Зокрема, для дискретної системи, що перебуває в одному з доступних станів з розподілом імовірностей ,
- .
У разі міри Лебега , тобто коли — неперервний розподіл з густиною , заданою на множині ,
- .
У цих формулах — деяка додатна константа, яка визначає одиницю вимірювання ентропії й у фізичних формулах служить для зв'язки розмірностей, як, наприклад, стала Больцмана. З точки зору задачі оптимізації ентропії ця константа є несуттєвою, тому для спрощення часто вважають .
Параметр — безрозмірна величина (), яка характеризує ступінь неекстенсивності (неадитивності) даної системи. У границі при , ентропія Цалліса збігається до ентропії Больцмана — Гіббса. При ентропія Цалліса є увігнутим функціоналом від розподілу ймовірностей і, як звичайна ентропія, досягає максимуму за рівномірного розподілу. При функціонал є опуклим і за рівномірного розподілу досягає мінімуму. Тому для пошуку рівноважного стану ізольованої системи при ентропію Цалліса потрібно максимізувати, а при — мінімізувати[2]. Значення параметра — це вироджений випадок ентропії Цалліса, коли вона не залежить від , а залежить лише від , тобто від розміру системи (від у дискретному випадку).
У безперервному випадку іноді вимагають, щоб носій випадкової величини був безрозмірним[3]. Це забезпечує коректність функціоналу ентропії з точки зору розмірності.
Історично першими вираз для ентропії Цалліса (точніше, для часткового її випадку при ) отримали Дж. Хаврда і Ф. Чарват (J. Havrda і F. Charvát)[4] 1967 року. Разом з тим, при ентропія Цалліса є частковим випадком f-ентропії[5] (при f-ентропією є величина, протилежна ентропії Цалліса).
Ентропію Цалліса можна отримати зі стандартної формули для ентропії Больцмана — Гіббса заміною використовуваної в ній функції функцією
— так званий q-деформований логарифм або просто q-логарифм (у границі при збігається з логарифмом)[6]. К. Цалліс використовував[7] дещо іншу формулу q-логарифма, яка зводиться до наведеної тут заміною параметра на .
Ще один спосіб[7] отримати ентропію Цалліса ґрунтується на співвідношенні, справедливому для ентропії Больцмана — Гіббса:
- .
Неважко бачити, що якщо замінити в цьому виразі звичайну похідну на q-похідну (відому також як похідна Джексона), виходить ентропія Цалліса:
- .
Аналогічно для неперервного випадку:
- .
Нехай є дві незалежні системи і , тобто такі системи, що в дискретному випадку спільна ймовірність появи двох будь-яких станів і в цих системах дорівнює добутку відповідних імовірностей:
- ,
а в неперервному — спільна густина розподілу ймовірностей дорівнює добутку відповідних густин:
- ,
де , — області значень випадкової величини в системах і відповідно.
На відміну від ентропії Больцмана — Гіббса і ентропії Реньї, ентропія Цалліса, загалом, не володіє адитивністю, і для сукупності систем виконується[7]
- .
Оскільки умова адитивності для ентропії має вигляд
- ,
відхилення параметра від характеризує неекстенсивність (неадитивність) системи. Ентропія Цалліса є екстенсивною тільки при .
Поряд з ентропією Цалліса, розглядають також сімейство несиметричних мір розбіжності (дивергенції) Цалліса між розподілами ймовірностей зі спільним носієм. Для двох дискретних розподілів з імовірністю і , , дивергенція Цалліса визначається як[8]
- .
У неперервному випадку, якщо розподіли і задані густинами і відповідно, де ,
- .
На відміну від ентропії Цалліса, дивергенція Цалліса визначена при . Несуттєва додатна константа в цих формулах, як і для ентропії, задає одиницю виміру дивергенції і часто опускається (покладається рівною ). Дивергенція Цалліса є окремим випадком α-дивергенції[9] (з точністю до несуттєвої константи) і, як α-дивергенція, є опуклою за обома аргументами за всіх . Дивергенція Цалліса також є окремим випадком f-дивергенції.
Дивергенці. Цалліса можна отримати з формули для дивергенції Кульбака — Лейблера підстановкою в неї q-деформованого логарифма, визначеного вище, замість функції . У границі при дивергенція Цалліса сходиться до дивергенції Кульбака — Лейблера.
Ентропія Реньї та ентропія Цалліса еквівалентні[8] з точністю до монотонного перетворення, що не залежить від розподілу станів системи. Те саме стосується відповідних дивергенцій. Розглянемо, наприклад, ентропію Реньї для системи з дискретним набором станів :
- , .
Дивергенція Реньї для дискретних розподілів з імовірністю і , :
- , .
У цих формулах додатна константа має таке саме значення, як і у формалізмі Цалліса.
Легко бачити, що
- ,
- ,
де функція
визначена на всій числовій осі і неперервно зростає за (при вважаємо ). Наведені співвідношення мають місце і в неперервному випадку.
Попри наявність зв'язку з цим, слід пам'ятати, що функціонали у формалізмі Реньї та Цалліса мають різні властивості:
- ентропія Цалліса, загалом, не адитивна, тоді як ентропія Реньї адитивна при всіх ;
- ентропія і дивергенція Цалліса є увігнутими або опуклими (крім ), тоді як ентропія і дивергенція Реньї, загалом, не мають ні тієї, ні іншої властивості[10].
- ↑ Tsallis, C. Possible generalization of Boltzmann-Gibbs statistics // Journal of Statistical Physics[en] : journal. — 1988. — Vol. 52 (28 July). — P. 479—487. — Bibcode: . — DOI: .
- ↑ Зарипов Р. Г. [1] — Казань : Изд-во Казан. гос. техн. ун-та, 2005. — 364 с. Архівовано з джерела 18 травня 2021
- ↑ Plastino A., Plastino A. R. Tsallis Entropy and Jaynes' Information Theory Formalism // Brazilian Journal of Physics. — 1999. — Т. 29 (28 липня). — С. 1—35. Архівовано з джерела 12 травня 2021. Процитовано 12 травня 2021.
- ↑ Havrda, J.; Charvát, F. Quantification method of classification processes. Concept of structural α-entropy // Kybernetika : journal. — 1967. — Vol. 3, no. 1 (28 July). — P. 30—35. Архівовано з джерела 10 грудня 2020. Процитовано 12 травня 2021.
- ↑ Csiszár I. A class of measures of informativity of observation channels. // Periodica Math. Hungar. — 1972. — Т. 2 (28 липня). — С. 191—213.
- ↑ Oikonomou T., Bagci G. B. A note on the definition of deformed exponential and logarithm functions // Journal of Mathematical Physics. — 2009. — Т. 50, вип. 10 (28 липня). — С. 1—9. Архівовано з джерела 12 травня 2021. Процитовано 12 травня 2021.
- ↑ а б в Tsallis C. Nonextensive statistics: Theoretical, experimental and computational evidences and connections // Brazilian Journal of Physics. — 1999. — Т. 29, вип. 1 (28 липня). — С. 53. Архівовано з джерела 12 травня 2021. Процитовано 12 травня 2021.
- ↑ а б Nielsen F., Nock R. On Renyi and Tsallis entropies and divergences for exponential families // arXiv:1105.3259. — 2011. — 28 липня. — С. 1—7. Архівовано з джерела 12 травня 2021. Процитовано 12 травня 2021.
- ↑ Waters A. Alpha divergence // STAT 631 / ELEC 633:Graphical Models. — Rice Univercity, 2008. — 28 липня. — С. 1—4. Архівовано з джерела 25 лютого 2021. Процитовано 12 травня 2021.
- ↑ Xu D., Erdogmuns D. Renyi’s Entropy, Divergence and Their Nonparametric Estimator // J.C. Principe, Information Theoretic Learning: Renyi’s Entropy and Kernel Perspectives. — Springer Science+Business Media, LLC, 2010. — 28 липня. — С. 47—102. Архівовано з джерела 2 лютого 2019. Процитовано 12 травня 2021.