Перегляд вихідного коду сторінки Інформаційна ентропія

{{Теорія інформації}}
{{Otheruses|Ентропія (значення)}}
{{multiple issues|{{technical|date=грудень 2018}}
{{refimprove|дата=травень 2016}}}}

[[Файл:Entropy flip 2 coins.jpg|thumb|300px|Два біти ентропії: у випадку двох справедливих підкидань монети, ентропія інформації в бітах є логарифмом за основою 2 з числа можливих результатів; за двох монет існує чотири можливі результати, та два біти ентропії. Взагалі, інформаційна ентропія є усередненою кількістю інформації, що несе подія, за розгляду всіх можливих результатів.]]

'''Інформаці́йна ентропі́я''' ({{lang-en|information entropy}})&nbsp;— це [[Математичне сподівання|усереднена]] швидкість, із якою продукує [[Інформація|інформацію]] [[Стохастичність|стохастичне]] джерело даних.

Мірою інформаційної ентропії, пов'язаною з кожним можливим значенням даних, є від'ємний [[логарифм]] [[Функція маси імовірності|функції маси ймовірності]] для цього значення: <math display="inline"> S = - \sum_i P_i\ln{P_i} </math> <ref name=pathriaBook>{{cite book |last1=Pathria |first1=R. K. |last2=Beale |first2=Paul |date=2011 |title=Statistical Mechanics (Third Edition) |url=https://books.google.com/?id=KdbJJAXQ-RsC&printsec=frontcover#v=onepage&q&f=false |publisher=Academic Press |page=51 |isbn=978-0123821881 |accessdate=13 грудня 2018 |archive-date=17 червня 2020 |archive-url=https://web.archive.org/web/20200617052231/https://books.google.com/books?id=KdbJJAXQ-RsC&printsec=frontcover&hl=en#v=onepage&q&f=false }} {{ref-en}}</ref>. Таким чином, коли джерело даних має менш імовірне значення (наприклад, коли стається низькоймовірна подія), то ця подія несе більше «інформації» («неочікуваності»), ніж коли джерело даних має більш імовірне значення. Визначена таким чином кількість інформації, що передається кожною подією, стає [[Випадкова змінна|випадковою змінною]], чиє математичне сподівання є інформаційною ентропією. Взагалі, ''ентропію'' позначають безлад або невизначеність, і визначення ентропії, що застосовують в теорії інформації, є прямим аналогом [[Ентропія (статистична термодинаміка)|визначення, що застосовують]] у [[Статистична термодинаміка|статистичній термодинаміці]]. Поняття інформаційної ентропії було введено [[Клод Шеннон|Клодом Шенноном]] у його праці 1948 року «[[Математична теорія зв'язку (стаття)|Математична теорія зв'язку]]».<ref name=shannonPaper>{{cite journal |last=Shannon |first=Claude E. |authorlink=Клод Шеннон |title=[[Математична теорія зв'язку (стаття)|A Mathematical Theory of Communication]] |journal={{нп|Bell System Technical Journal}} |volume=27 |issue=3 |pages=379–423 |date=July–October 1948 |doi=10.1002/j.1538-7305.1948.tb01338.x}} ([https://web.archive.org/web/20120615000000*/https://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf PDF], заархівовано [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf звідси] {{Webarchive|url=https://web.archive.org/web/20140620153353/http://www3.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf |date=20 червня 2014 }}) {{ref-en}}</ref>

Базова модель системи [[передавання даних]] складається з трьох елементів: джерела даних, [[Канал зв'язку|каналу зв'язку]] та приймача, і, за виразом Шеннона, «фундаментальною задачею зв'язку» є те, щоби отримувач був здатен встановлювати, які дані було породжено джерелом, на основі сигналу, що він отримує каналом.<ref>{{cite journal |url=http://math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf |title=A Mathematical Theory of Communication |first=Claude E. |last=Shannon |journal={{нп|Bell System Technical Journal}} |volume=27 |year=1948 |accessdate=13 грудня 2018 |archive-date=15 лютого 2019 |archive-url=https://web.archive.org/web/20190215102750/http://www.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf }}, July and October {{ref-en}}</ref>{{rp|379–423 та 623–656}} Ентропія забезпечує абсолютну межу найкоротшої можливої усередненої довжини [[Стиснення без втрат|безвтратного]] [[Стиснення даних|стиснювального]] кодування даних, продукованих джерелом, і якщо ентропія джерела є меншою за [[Пропускна спроможність каналу|пропускну спроможність]] каналу зв'язку, то дані, породжувані цим джерелом, можливо надійно передавати приймачеві (принаймні теоретично, можливо, нехтуючи деякими практичними міркуваннями, такими як складність системи, потрібної для передавання даних, або кількості часу, що це передавання цих даних може забирати).

Інформаційну ентропію зазвичай вимірюють в [[біт]]ах (що також називають «[[Шеннон (одиниця вимірювання)|шеннонами]]», {{lang-en|bit, shannon}}), або іноді в «натуральних одиницях» ([[нат (одиниця вимірювання)|натах]], {{lang-en|nat}}), або в десяткових цифрах (що називають «дитами», «банами» або «[[гартлі (одиниця вимірювання)|гартлі]]»). Одиниця вимірювання залежить від основи логарифма, що використовують для визначення ентропії.

Логарифм розподілу ймовірності є корисним як міра ентропії тому, що для незалежних джерел він є адитивним. Наприклад, ентропія підкидання справедливої монети складає 1 біт, а ентропією {{math|''m''}} підкидань є {{math|''m''}} біт. У простому поданні, для представлення величини, що може набувати одного з {{math|''n''}} значень, потрібно {{math|log<sub>2</sub>(''n'')}} бітів, якщо {{math|''n''}} є степенем числа 2. Якщо ці значення є однаково ймовірними, то ентропія (в бітах) дорівнює цьому числу. Якщо ж трапляння одного з цих значень є ймовірнішим за інші, то спостереження трапляння цього значення є менш інформативним, ніж якби трапився не такий звичайний результат. І навпаки, рідкісніші події при їхньому спостереженні надають більше інформації. Оскільки спостереження менш імовірних подій трапляється рідше, в підсумку виходить, що ентропія (при розгляданні її як усередненої інформації), отримувана від нерівномірно розподілених даних, є завжди меншою або рівною до {{math|log<sub>2</sub>(''n'')}}. Якщо вихід є незмінним, то ентропія дорівнює нулеві. Коли розподіл імовірності джерела даних є відомим, ентропія виражає ці міркування кількісно. ''Зміст'' спостережуваних подій (зміст ''повідомлень'') у визначенні ентропії значення не має. Ентропія враховує лише ймовірність спостереження певної події, тому інформація, яку вона включає, є інформацією про розподіл ймовірності, що лежить в основі, а не про зміст самих подій.

== Введення ==

Основною ідеєю теорії інформації є те, що чим більше хтось знає про предмет, то менше нової інформації про нього вони здатні отримати. Якщо подія є дуже ймовірною, то коли вона трапляється, в цьому немає нічого неочікуваного, і відтак вона привносить мало нової інформації. І навпаки, якщо подія була малоймовірною, то її трапляння є набагато інформативнішим. Таким чином, [[Власна інформація|інформаційний вміст]] є [[Монотонна функція|висхідною функцією]] оберненої ймовірності події (1/''p'', де ''p'' є ймовірністю події). Тепер, якщо може трапитися більше подій, ентропія вимірює усереднений інформаційний вміст, який ви можете очікувати отримати, якщо дійсно трапляється одна з цих подій. З цього випливає, що викидання грального кубика має більше ентропії, ніж підкидання монети, оскільки кожен з результатів грального кубика має меншу ймовірність, ніж кожен з результатів монети.

Отже, ентропія&nbsp;— це міра ''непередбачуваності'' ({{lang-en|unpredictability}}) стану, або, рівнозначно, його ''усередненого інформаційного вмісту'' ({{lang-en|average information content}}). Щоби отримати інтуїтивне розуміння цих термінів, розгляньмо приклад політичного опитування. Як правило, такі опитування відбуваються тому, що їхні результати не є заздалегідь відомими. Іншими словами, результати опитування є відносно ''непередбачуваними'', і фактичне здійснення опитування та з'ясовування результатів дає деяку нову ''інформацію''; це просто різні способи сказати, що апріорна ентропія результатів опитування є високою. Тепер розгляньмо випадок, коли таке ж опитування проводиться вдруге незабаром після першого опитування. Оскільки результати першого опитування вже є відомими, підсумки другого опитування можна передбачити добре, і ці результати не повинні містити багато нової інформації; в цьому випадку апріорна ентропія результатів другого опитування є низькою по відношенню до апріорної ентропії першого.

Тепер розгляньмо приклад з підкиданням монети. Якщо ймовірність випадання аверсу така ж, як і ймовірність випадання реверсу, то ентропія підкидання монети є настільки високою, наскільки це можливо. Причиною цього є те, що немає жодного способу передбачити результат підкидання монети заздалегідь&nbsp;— якщо нам треба було би обирати, то найкраще, що ми могли би зробити, це передбачити, що монета випаде аверсом догори, і цей прогноз був би правильним з імовірністю 1/2. Таке підкидання монети має один біт ентропії, оскільки є два можливі результати, які трапляються з однаковою ймовірністю, і з'ясування фактичного результату містить один біт інформації. На противагу до цього, підкидання монети, яка має два аверси й жодного реверсу, має нульову ентропію, оскільки монета завжди випадатиме аверсом, і результат може бути передбачено цілком. Аналогічно, бінарна подія з рівноймовірними результатами має ентропію Шеннона <math>\log_2 2=1</math> біт. Подібно до цього, один [[трит]] із рівноймовірними значеннями містить <math>\log_2 3</math> (близько 1.58496) бітів інформації, оскільки він може мати одне з трьох значень.

Англомовний текст, якщо розглядати його як стрічку символів, має досить низький рівень ентропії, тобто, він є доволі передбачуваним. Навіть якщо ми не знаємо точно, що буде далі, ми можемо бути доволі впевненими, що, наприклад, «e» там буде набагато поширенішою за «z», що поєднання «qu» зустрічатиметься набагато частіше за будь-які інші поєднання, які містять «q», і що поєднання «th» буде набагато поширенішим за «z», «q» або «qu». Після перших кількох літер часто можна вгадати решту слова. Англійський текст має між 0.6 та 1.3 біта ентропії на символ повідомлення.<ref name="Schneier, B page 234">Schneier, B: ''Applied Cryptography'', Second edition, John Wiley and Sons. {{ref-en}}</ref>{{rp|234}}

Якщо схема [[Стиснення даних|стиснення]] є вільною від втрат,&nbsp;— тобто, завжди можна відтворити повне первинне повідомлення шляхом розтискання,&nbsp;— то стиснене повідомлення має такий самий обсяг інформації, як і первинне, але переданий меншою кількістю символів. Тобто, воно має більше інформації, або вищу ентропію, на один символ. Це означає, що стиснене повідомлення має меншу надмірність. Грубо кажучи, {{нп|теорема Шеннона про кодування джерела|||Shannon's source coding theorem}} стверджує, що схема стиснення без втрат в середньому не може стиснути повідомлення так, щоби воно мало ''більше'' одного біту інформації на біт повідомлення, але що будь-яке значення ''менше'' одного біту інформації на біт повідомлення може бути досягнуто шляхом застосування відповідної схеми кодування. Ентропія повідомлення на біт, помножена на довжину цього повідомлення, є мірою того, наскільки багато інформації в цілому містить повідомлення.

Для наочності уявіть, що ми хочемо передати послідовність, до складу якої входять 4 символи, «А», «Б», «В» і «Г». Таким чином, повідомленням для передавання може бути «АБАГГВАБ». Теорія інформації пропонує спосіб обчислення найменшої можливої кількості інформації, яка передасть це. Якщо всі 4 літери є рівноймовірними (25&nbsp;%), ми не можемо зробити нічого кращого (над двійковим каналом), аніж кодувати кожну літеру 2 бітами (у двійковому вигляді): «А» може бути кодовано як «00», «Б»&nbsp;— як «01», «В»&nbsp;— як «10», а «Г»&nbsp;— як «11». Тепер припустімо, що «А» трапляється з імовірністю 70&nbsp;%, «Б»&nbsp;— 26&nbsp;%, а «В» та «Г»&nbsp;— по 2&nbsp;% кожна. Ми могли би призначити коди змінної довжини, так, що отримання «1» казало би нам дивитися ще один біт, якщо тільки ми не отримали вже перед цим 2 послідовні біти одиниць. В цьому випадку «А» було би кодовано як «0» (один біт), «Б»&nbsp;— як «10», а «В» і «Г» як «110» і «111». Легко побачити, що протягом 70&nbsp;% часу потрібно надсилати лише один біт, 26&nbsp;% часу&nbsp;— два біти, і лише протягом 4&nbsp;% від часу&nbsp;— 3 біти. Тоді в середньому необхідно менше за 2 біти, оскільки ентропія є нижчою (через високу поширеність «А» з наступною за нею «Б»&nbsp;— разом 96&nbsp;% символів). Обчислення суми зважених за ймовірностями логарифмічних імовірностей вимірює та схоплює цей ефект.

Теорема Шеннона також означає, що жодна схема стиснення без втрат не може скорочувати ''всі'' повідомлення. Якщо якісь повідомлення виходять коротшими, хоча б одне повинне вийти довшим в силу [[Принцип Діріхле|принципу Діріхле]]. В практичному застосуванні це зазвичай не є проблемою, оскільки нас, як правило, цікавить стиснення лише певних типів повідомлень, наприклад, документів англійською мовою на противагу до тексту тарабарщиною, або цифрових фотографій, а не шуму, і не важливо, якщо алгоритм стиснення робить довшими малоймовірні або нецікаві послідовності.

== Означення ==

Назвавши її на честь {{нп|Η-теорема Больцмана|Η-теореми Больцмана||H-theorem}}, Шеннон означив ентропію {{math|&Eta;}} (грецька літера [[Ета (літера)|ета]]) [[Дискретний розподіл ймовірності|дискретної випадкової величини]] <math display="inline">X</math> з можливими значеннями <math display="inline">\left\{x_1, \ldots, x_n \right\}</math> та [[Функція маси імовірності|функцією маси ймовірності]] <math display="inline">\mathrm{P}(X)</math> як

: <math>\Eta(X) = \mathbb{E}[\operatorname{I}(X)]
= \mathbb{E}[-\log(\mathrm{P}(X))].</math>

Тут <math>\mathbb{E}</math> є [[Математичне сподівання|оператором математичного сподівання]] ({{lang-en|expectation}}), а {{math|I}} є [[Власна інформація|кількістю інформації]] {{math|''X''}}.<ref>{{cite book|author=Borda, Monica|title=Fundamentals in Information Theory and Coding|publisher=Springer|year=2011|isbn=978-3-642-20346-6|url=https://books.google.com/books?id=Lyte2yl1SPAC&pg=PA11|accessdate=6 червня 2017|archive-date=15 лютого 2017|archive-url=https://web.archive.org/web/20170215163410/https://books.google.com/books?id=Lyte2yl1SPAC&pg=PA11}} {{ref-en}}</ref>{{rp|11}}<ref>{{cite book|authors=Han, Te Sun & Kobayashi, Kingo|title=Mathematics of Information and Coding|publisher=American Mathematical Society|year=2002|isbn=978-0-8218-4256-0|url=https://books.google.com/books?id=VpRESN24Zj0C&pg=PA19|accessdate=6 червня 2017|archive-date=15 лютого 2017|archive-url=https://web.archive.org/web/20170215163417/https://books.google.com/books?id=VpRESN24Zj0C&pg=PA19}} {{ref-en}}</ref>{{rp|19–20}}
{{math|I(''X'')}} і сама є випадковою величиною.

Ентропію може бути записано в явному вигляді як

: <math>\Eta(X) = \sum_{i=1}^n {\mathrm{P}(x_i)\,\mathrm{I}(x_i)} = -\sum_{i=1}^n {\mathrm{P}(x_i) \log_b \mathrm{P}(x_i)},</math>

де {{math|''b''}} є {{нп|Основа (піднесення до степеня)|основою||Base (exponentiation)}} [[логарифм]]а, який застосовується. Звичними значеннями {{math|''b''}} є 2, [[e (число)|число Ейлера ''е'']], та 10, а відповідними одиницями ентропії є [[біт]]и для {{math|''b'' {{=}} 2}}, [[нат (одиниця вимірювання)|нати]] для {{math|''b'' {{=}} ''e''}}, та [[Бан (одиниця виміру)|бани]] для {{math|''b'' {{=}} 10}}.<ref>Schneider, T.D, [http://alum.mit.edu/www/toms/paper/primer/primer.pdf Information theory primer with an appendix on logarithms]{{Недоступне посилання}}, National Cancer Institute, 14 April 2007. {{ref-en}}</ref>

У випадку {{math|P(''x''<sub>''i''</sub>) {{=}} 0}} для деякого {{math|''i''}} значення відповідного доданку {{math|0 log<sub>''b''</sub>(0)}} приймають рівним {{math|0}}, що відповідає [[Границя функції в точці|границі]]

: <math>\lim_{p\to0+}p\log (p) = 0.</math>

Можна також визначити [[Умовна ентропія|умовну ентропію]] двох подій {{math|''X''}} та {{math|''Y''}}, які набувають значень {{math|''x''<sub>''i''</sub>}} та {{math|''y''<sub>''j''</sub>}} відповідно, як

: <math> \Eta(X|Y)=-\sum_{i,j}p(x_{i},y_{j})\log\frac{p(x_{i},y_{j})}{p(y_{j})}</math>

де {{math|''p''(''x''<sub>''i''</sub>, ''y''<sub>''j''</sub>)}} є ймовірністю того, що {{math|''X'' {{=}} ''x''<sub>''i''</sub>}} та {{math|''Y'' {{=}} ''y''<sub>''j''</sub>}}. Цю величину слід розуміти як ступінь довільності випадкової величини {{math|''X''}} при заданій події {{math|''Y''}}.

== Приклад ==
[[Файл:Binary entropy plot.svg|thumbnail|right|200px|Ентропія {{math|Η(''X'')}} (тобто [[Математичне сподівання|очікувана]] [[Власна інформація|неочікуваність]]) підкидання монети, вимірювана в бітах, представлена графічно відносно упередження монети {{math|Pr(''X'' {{=}} 1)}}, де {{math|''X'' {{=}} 1}} є випадінням аверса.<br/><br/>Тут ентропія складає щонайбільше 1 біт, і для повідомлення результатів підкидання монети (2 можливі значення) потрібно в середньому не більше 1 біту (в точності 1 біт для справедливої монети). Результат справедливого грального кубика (6 можливих значень) потребуватиме в середньому log<sub>2</sub>6 бітів.]]
{{Докладніше1|{{нп|Функція двійкової ентропії|||Binary entropy function}} та {{нп|Процес Бернуллі|||Bernoulli process}}}}

Розгляньмо підкидання монети з відомими, але не обов'язково справедливими ймовірностями випадання аверсу чи реверсу; це можна змоделювати як {{нп|процес Бернуллі|||Bernoulli process}}.

Ентропія невідомого результату наступного підкидання монети є найбільшою, якщо монета є справедливою (тобто, якщо як аверси, так і реверси мають однакову ймовірність 1/2). Це є ситуацією максимальної невизначеності, оскільки в ній найскладніше передбачити результат наступного підкидання; результат кожного підкидання монети подає один повний [[біт]] інформації. Це є тому, що

: <math>\begin{align}
\Eta(X) &= -\sum_{i=1}^n {\mathrm{P}(x_i) \log_b \mathrm{P}(x_i)} 
\\ &= -\sum_{i=1}^2 {\frac{1}{2}\log_2{\frac{1}{2}}} 
\\ &= -\sum_{i=1}^2 {\frac{1}{2} \cdot (-1)} = 1
\end{align}</math>

Проте, якщо ми знаємо, що монета не є справедливою, а випадає аверсом чи реверсом з імовірностями {{math|''p''}} та {{math|''q''}}, де {{math|''p'' ≠ ''q''}}, то тоді невизначеності є менше. Кожного разу, як її підкидають, випадання однієї зі сторін є ймовірнішим, ніж випадання іншої. Зниження невизначеності отримує кількісну оцінку в вигляді меншої ентропії: в середньому кожне підкидання монети подає менше ніж один повний [[біт]] інформації. Наприклад, якщо {{math|''p''}}=0.7, то

: <math display="block">\begin{align}
\Eta(X) &=  - p \log_2 (p) - q \log_2 (q)
\\ &= - 0.7 \log_2 (0.7) - 0.3 \log_2 (0.3) 
\\ &\approx - 0.7 \cdot (-0.515) - 0.3 \cdot (-1.737) 
\\ &= 0.8816 < 1
\end{align}</math>

Крайнім випадком є двоаверсова монета, яка ніколи не випадає реверсом, або двореверсова монета, яка ніколи не дає в результаті аверс. Тут немає ніякої невизначеності. Ентропія дорівнює нулеві: кожне підкидання монети не подає жодної нової інформації, оскільки результати кожного підкидання монети завжди визначені.

Ентропію може бути нормалізовано шляхом ділення її на довжину інформації. Це співвідношення називається {{нп|Метрична ентропія|метричною ентропією||Metric entropy}}, воно є мірою хаотичності інформації.

== Обґрунтування ==

Щоби зрозуміти сенс {{math|∑ ''p''<sub>''i''</sub> log(1/''p''<sub>''i''</sub>)}}, спершу спробуймо визначити функцію інформації {{math|I}} з точки зору події {{math|''i''}} з імовірністю {{math|''p''<sub>''i''</sub>}}. Кількість інформації, отримувана через спостереження події {{math|''i''}}, випливає з шеннонового розв'язку фундаментальних [[#Характеризування|властивостей]] [[Інформаційний вміст|інформації]]:<ref>{{cite book |last=Carter |first=Tom |date=March 2014 |title=An introduction to information theory and entropy |url=http://csustan.csustan.edu/~tom/Lecture-Notes/Information-Theory/info-lec.pdf |location=Santa Fe |publisher= |page= |isbn= |accessdate=4 серпня 2017 |archive-date=4 червня 2016 |archive-url=https://web.archive.org/web/20160604130248/http://csustan.csustan.edu/~tom/Lecture-Notes/Information-Theory/info-lec.pdf }} {{ref-en}}</ref>

# {{math|I(''p'')}} є [[Монотонно спадна функція|монотонно спадною]] в {{math|''p''}}&nbsp;— збільшення ймовірності події зменшує інформацію зі спостереження події, і навпаки.
# {{math|I(''p'') ≥ 0}}&nbsp;— інформація є [[Невід'ємність|невід'ємною]] величиною.
# {{math|I(1) {{=}} 0}}&nbsp;— події, які відбуваються завжди, не несуть інформації.
# {{math|I(''p''<sub>1</sub> ''p''<sub>2</sub>) {{=}} I(''p''<sub>1</sub>) + I(''p''<sub>2</sub>)}}&nbsp;— інформація від [[Незалежні події|незалежних подій]] є адитивною.

Остання властивість є ключовою. Вона стверджує, що спільна ймовірність незалежних джерел інформації несе стільки ж інформації, скільки й ці дві окремі події по одній. Зокрема, якщо перша подія може видавати один з {{math|''n''}} {{нп|Рівноймовірність|рівноймовірних||Equiprobability}} результатів, а інша має один із {{math|''m''}} рівноймовірних результатів, то існує {{math|''mn''}} можливих результатів спільної події. Це означає, що якщо для кодування першого значення потрібно {{math|log<sub>2</sub>(''n'')}} біт, а для кодування другого&nbsp;— {{math|log<sub>2</sub>(''m'')}}, то для кодування обох потрібно {{math|log<sub>2</sub>(''mn'') {{=}} log<sub>2</sub>(''m'') + log<sub>2</sub>(''n'')}}. Шеннон виявив, що правильним вибором функції для кількісної оцінки інформації, яка зберігала би цю [[адитивність]], є логарифмічна, тобто

: <math>\mathrm{I}(p) = \log\left(\tfrac{1}{p}\right) = -\log(p):</math>

нехай <math display="inline">I</math> є інформаційною функцією, що є двічі неперервно диференційовною, тоді

: <math>\begin{array}{lcl}
I(p_1 p_2) &=& I(p_1) +  I(p_2) \\
p_2 I'(p_1 p_2) &=& I'(p_1) \\
I'(p_1 p_2) + p_1 p_2 I''(p_1 p_2) &=& 0 \\
I'(u) + u I''(u) &=& 0 \\
(u \mapsto u I'(u))' &=& 0
\end{array}</math>

Це [[диференціальне рівняння]] веде до розв'язку <math>I(u) = k \log u</math> для будь-якого <math>k \in \mathbb{R}</math>. Умова 2 веде до <math>k < 0</math>, а надто, <math>k </math> може обиратися з вигляду <math>k = - 1/\log x</math>, де <math>x > 1</math>, що рівнозначне обиранню конкретної [[Основа логарифма|основи логарифма]]. Різні [[Одиниці вимірювання інформації|одиниці інформації]] ([[біт]]и для [[Двійковий логарифм|двійкового логарифма]] {{math|log<sub>2</sub>}}, [[нат (одиниця вимірювання)|нати]] для [[Натуральний логарифм|натурального логарифма]] {{math|ln}}, [[Бан (одиниця вимірювання)|бани]] для [[Десятковий логарифм|десяткового логарифма]] {{math|log<sub>10</sub>}} і так далі) є лише [[Пропорційність (математика)|сталим домноженням]] одна одної. Наприклад, у випадку підкидання справедливої монети аверс дає {{math|log<sub>2</sub>(2) {{=}} 1}} біт інформації, що становить приблизно 0.693&nbsp;нат, або 0.301&nbsp;десяткових цифр. В силу адитивності, {{math|''n''}} підкидань дають {{math|''n''}} біт інформації, що становить приблизно {{math|0.693''n''}} нат, або {{math|0.301''n''}} десяткових цифр.

Якщо існує розподіл, в якому подія {{math|''i''}} може траплятися з імовірністю {{math|''p''<sub>''i''</sub>}}, з нього було взято {{math|''N''}} проб, і результат {{math|''i''}} трапився {{math|''n''<sub>''i''</sub> {{=}} ''N'' ''p''<sub>''i''</sub>}} разів, то загальною кількістю інформації, яку ми отримали, є

: <math>\sum_i {n_i \mathrm{I}(p_i)} = -\sum_i {N p_i \log{p_i}}</math>.

Отже, ''[[Усереднення|усередненою]]'' кількістю інформації, яку ми отримуємо на подію, є

: <math>-\sum_i {p_i \log {p_i}}.</math>

== Аспекти ==

=== Відношення до термодинамічної ентропії ===
{{Докладніше1|{{нп|Ентропія в термодинаміці та теорії інформації|||Entropy in thermodynamics and information theory}}}}

Натхнення прийняти слово ''ентропія'' в теорії інформації виникло від близької подібності між формулою Шеннона, і дуже схожими відомими формулами зі [[Статистична механіка|статистичної механіки]].

У [[Статистична механіка|статистичній термодинаміці]] найзагальнішою формулою для термодинамічної [[Ентропія|ентропії]] {{math|''S''}} [[Термодинамічна система|термодинамічної системи]] є [[ентропія Гіббса]],

: <math>S = - k_\text{B} \sum p_i \ln p_i \,</math>

де {{math|''k''<sub>B</sub>}} є [[Стала Больцмана|сталою Больцмана]], а {{math|''p''<sub>''i''</sub>}} є ймовірністю {{нп|Мікростан (статистична механіка)|мікростану||Microstate (statistical mechanics)}}. Ентропію Гіббса було визначено [[Джозая Віллард Гіббз|Віллардом Гіббсом]] 1878 року після ранішої праці [[Людвіг Больцман|Больцмана]] (1872 року).<ref>Compare: Boltzmann, Ludwig (1896, 1898). Vorlesungen über Gastheorie : 2 Volumes – Leipzig 1895/98 UB: O 5262-6. English version: Lectures on gas theory. Translated by Stephen G. Brush (1964) Berkeley: University of California Press; (1995) New York: Dover {{isbn|0-486-68455-5}} {{ref-en}}</ref>

Ентропія Гіббса переноситься майже беззмінною до світу [[Квантова фізика|квантової фізики]], даючи [[Ентропія фон Неймана|ентропію фон Неймана]], введену [[Джон фон Нейман|Джоном фон Нейманом]] 1927 року,

: <math>S = - k_\text{B} \,{\rm Tr}(\rho \ln \rho) \,</math>

де {{math|ρ}} є [[Матриця густини|матрицею густини]] квантової механічної системи, а {{math|Tr}} є [[Слід матриці|слідом]].

На побутовому практичному рівні зв'язок між інформаційною та термодинамічною ентропією очевидним не є. Фізики та хіміки схильні більше цікавитися ''змінами'' ентропії при спонтанному розвитку системи від її первісних умов, у відповідності з [[Другий закон термодинаміки|другим законом термодинаміки]], ніж незмінним розподілом імовірності. І, як вказує малість [[Стала Больцмана|сталої Больцмана]] {{math|''k''<sub>B</sub>}}, зміни в {{math|''S'' / ''k''<sub>B</sub>}} навіть для невеликих кількостей речовин у хімічних та фізичних процесах являють собою обсяги ентропії, які є надзвичайно великими порівняно з чим завгодно в [[Стиснення даних|стисненні даних]] та [[Обробка сигналів|обробці сигналів]]. Крім того, в класичній термодинаміці ентропія визначається в термінах макроскопічних вимірювань, і не робить жодних посилань на будь-який розподіл імовірності, що є головним у визначенні ентропії інформаційної.

Зв'язок між термодинамікою і тим, що зараз відомо як теорія інформації, було вперше зроблено [[Людвіг Больцман|Людвігом Больцманом]], і виражено його {{нп|Формула ентропії Больцмана|знаменитим рівнянням||Boltzmann's entropy formula}}:

: <math>S=k_\text{B} \ln(W)</math>

де {{math|''S''}} є термодинамічною ентропією окремого макростану (визначену термодинамічними параметрами, такими як температура, об'єм, енергія тощо), {{math|''W''}} є числом мікростанів (різних комбінацій частинок у різних енергетичних станах), які можуть дати даний макростан, а {{math|''k<sub>B</sub>''}} є [[Стала Больцмана|сталою Больцмана]]. Передбачається, що кожен мікростан є однаково правдоподібним, так що ймовірністю заданого мікростану є {{math|''p<sub>i</sub> {{=}} 1/W''}}. При підставленні цих імовірностей до наведеного вище виразу для ентропії Гіббса (або, рівнозначно, ентропії Шеннона, помноженої на {{math|''k<sub>B</sub>''}}) в результаті виходить [[рівняння Больцмана]]. В термінах теорії інформації інформаційна ентропія системи є кількістю інформації, якої «бракує» для визначення мікростану при відомому макростані.

На думку {{нп|Едвін Томпсон Джейнс|Джейнса||Edwin Thompson Jaynes}} (1957 року), термодинамічну ентропію, як пояснюється [[Статистична механіка|статистичною механікою]], слід розглядати як ''застосування'' теорії інформації Шеннона: термодинамічна ентропія інтерпретується як така, що є пропорційною до кількості додаткової інформації Шеннона, необхідної для визначення детального мікроскопічного стану системи, яка залишається не повідомленою описом виключно в термінах макроскопічних величин класичної термодинаміки, з коефіцієнтом пропорційності, який є просто [[Стала Больцмана|сталою Больцмана]]. Наприклад, додавання теплоти до системи підвищує її термодинамічну ентропію, оскільки це збільшує число можливих мікроскопічних станів системи, які узгоджуються з вимірюваними значеннями його макроскопічних величин, роблячи таким чином будь-який повний опис стану довшим. (Див. статтю ''{{нп|термодинаміка максимальної ентропії|||Maximum entropy thermodynamics}}''). [[Демон Максвелла]] може (гіпотетично) знижувати термодинамічну ентропію системи з використанням інформації про стан окремих молекул, але, як показали {{нп|Рольф Ландауер|Ландауер||Rolf Landauer}} (з 1961 року) з колегами, щоби діяти, цей демон мусить сам підвищувати термодинамічну ентропію в цьому процесі, принаймні на кількість інформації Шеннона, яку він пропонує спочатку отримати й зберегти; і, таким чином, загальна термодинамічна ентропія не знижується (що розв'язує парадокс). [[Принцип Ландауера]] встановлює нижню межу кількості тепла, яке комп'ютер повинен генерувати для обробки заданого обсягу інформації, хоча сучасні комп'ютери є набагато менш ефективними.

=== Ентропія як кількість інфромації ===
{{Докладніше1|{{нп|Теорема Шеннона про кодування джерела|||Shannon's source coding theorem}}}}

Ентропія визначається в контексті ймовірнісної моделі. Незалежні підкидання справедливої монети мають ентропію по 1 біту на підкидання. Джерело, яке завжди породжує довгий рядок «Б», має ентропію 0, оскільки наступним символом завжди буде «Б».

[[Ентропійна швидкість]] джерела даних означає усереднене число [[біт]]ів на символ, потрібне для його кодування. Експерименти Шеннона з передбаченням людьми показують швидкість інформації на символ англійською мовою між 0.6 і 1.3 біта;<ref>{{cite web | url=http://marknelson.us/2006/08/24/the-hutter-prize/ | title=The Hutter Prize | accessdate=2008-11-27 | date=24 August 2006 | author=Mark Nelson | archive-date=1 березня 2018 | archive-url=https://web.archive.org/web/20180301161215/http://marknelson.us/2006/08/24/the-hutter-prize/ }} {{ref-en}}</ref> [[PPM (алгоритм стиснення)|Алгоритм стиснення ''PPM'']] може досягати рівня стиснення в 1.5 біти на символ англомовного тексту.

Зверніть увагу на наступні моменти з попереднього прикладу:

# Кількість ентропії не завжди є цілим числом бітів.
# Багато бітів даних можуть не нести інформації. Наприклад, [[Структура даних|структури даних]] часто зберігають інформацію надмірно, або мають ідентичні розділи, незалежно від інформації в структурі даних.

Шеннонівське визначення ентропії, при застосуванні до джерела інформації, може визначати мінімальну пропускну здатність каналу, необхідну для надійного передавання джерела у вигляді закодованих двійкових цифр (див. застереження нижче курсивом). Цю формулу може бути виведено шляхом обчислення математичного сподівання кількості інформації, яка міститься в одній цифрі з джерела інформації. ''Див. також'' [[Теорема Шеннона — Гартлі|теорему Шеннона&nbsp;— Гартлі]].

Ентропія Шеннона вимірює інформацію, яка міститься в повідомленні, на противагу до тієї частини повідомлення, яка є визначеною (або передбачуваною). ''Приклади останнього включають надмірність у структурі мови та статистичні властивості, які стосуються частот трапляння пар, трійок тощо літер або слів.'' Див. [[ланцюги Маркова]].

=== Ентропія як міра різноманітності ===
{{Main|Міра різноманітності}}

Ентропія є одним з декількох способів вимірювання різноманітності. Зокрема, ентропія Шеннона є логарифмом {{math|<sup>1</sup>D}}, індексу [[Істинна різноманітність|істинної різноманітності]] з параметром, який дорівнює 1.

=== Стиснення даних ===
{{Main|Стиснення даних}}

Ентропія ефективно обмежує продуктивність найсильнішого можливого стиснення без втрат, яке може бути реалізовано теоретично з допомогою {{нп|Типовий набір|типового набору||Typical set}}, або практично із застосуванням кодування [[Код Хаффмана|Хаффмана]], [[Алгоритм Лемпеля — Зіва — Велча|Лемпеля&nbsp;— Зіва]], або [[Арифметичне кодування|арифметичного кодування]]. Див. також [[Колмогоровська складність|колмогоровську складність]]. На практиці для захисту від помилок алгоритми стиснення навмисно включають деяку розумну надмірність у вигляді [[Контрольна сума|контрольних сум]].

=== Світовий технологічний потенціал для зберігання та передавання інформації ===

Дослідження 2011 року в журналі «[[Science]]» оцінює світовий технологічний потенціал для зберігання та передавання оптимально стисненої інформації, нормалізований за найефективнішими алгоритмами стиснення, доступними в 2007 році, оцінюючи таким чином ентропію технологічно доступних джерел.<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"] {{Webarchive|url=https://web.archive.org/web/20130727161911/http://www.sciencemag.org/content/332/6025/60 |date=27 липня 2013 }}, Martin Hilbert and Priscila López (2011), [[Science]], 332(6025); free access to the article through here: martinhilbert.net/WorldInfoCapacity.html {{ref-en}}</ref>{{rp|60–65}}

{| class="wikitable"
|+
Всі числа&nbsp;— в ентропійно стиснених [[ексабайт]]ах
|-
! Тип інформації !! 1986 !! 2007
|-
| Зберігання || 2.6 || 295
|-
| Широкомовлення || 432 || 1900
|-
| Телекомунікації || 0.281 || 65
|}

Автори оцінюють технологічний потенціал людства у зберіганні інформації (повністю ентропійно стисненої) 1986 року, і знову 2007 року. Вони ділять інформацію на три категорії&nbsp;— зберігання інформації на носії, отримування інформації через мережі однобічного [[Телерадіомовлення|широкомовлення]], та обмін інформацією через двобічні [[Телекомунікації|телекомунікаційні]] мережі.<ref name="HilbertLopez2011"/>

=== Обмеження ентропії як кількості інформації ===

Існує ряд пов'язаних з ентропією понять, які певним чином здійснюють математичну кількісну оцінку обсягу інформації:

* '''[[власна інформація]]''' окремого повідомлення або символу, взятого із заданого розподілу ймовірності,
* '''ентропія''' заданого розподілу ймовірності повідомлень або символів, та
* '''[[ентропійна швидкість]]''' [[Стохастичний процес|стохастичного процесу]].

(Для конкретної послідовності повідомлень або символів, породженої заданим стохастичним процесом, також може бути визначено «швидкість власної інформації»: у випадку [[Стаціонарний випадковий процес|стаціонарного процесу]] вона завжди дорівнюватиме швидкості ентропії.) Для порівняння різних джерел інформації, або встановлення зв'язку між ними, використовуються й інші [[Кількості інформації]].

Важливо не плутати наведені вище поняття. Яке з них мається на увазі, часто може бути зрозумілим лише з контексту. Наприклад, коли хтось говорить, що «ентропія» англійської мови становить близько 1 біта на символ, вони насправді моделюють англійську мову як стохастичний процес, і говорять про ''швидкість'' її ентропії. Шеннон і сам використовував цей термін таким чином.

Проте, якщо ми використовуємо дуже великі блоки, то оцінка посимвольної ентропійної швидкості може стати штучно заниженою. Це відбувається тому, що насправді розподіл ймовірності послідовності не є пізнаваним точно; це лише оцінка. Наприклад, припустімо, що розглядаються тексти всіх будь-коли опублікованих книг як послідовність, у якій кожен символ є текстом цілої книги. Якщо існує {{math|''N''}} опублікованих книг, і кожну книгу опубліковано лише одного разу, то оцінкою ймовірності кожної книги є {{math|1/''N''}}, а ентропією (в бітах) є {{math|−log<sub>2</sub>(1/''N'') {{=}} log<sub>2</sub>(''N'')}}. Як практичний код, це відповідає призначенню кожній книзі [[ISBN|унікального ідентифікатора]] і використання його замість тексту книги будь-коли, коли потрібно послатися на цю книгу. Це надзвичайно корисно для розмов про книги, але не дуже корисно для характеризування кількості інформації окремих книг або мови в цілому: неможливо відтворити книгу з її ідентифікатора, не знаючи розподілу ймовірності, тобто повного тексту всіх книг. Ключова ідея полягає в тому, що повинна братися до уваги складність імовірнісної моделі. [[Колмогоровська складність]] являє собою теоретичне узагальнення цієї ідеї, яке дозволяє розглядати кількість інформації послідовності незалежно від конкретної ймовірнісної моделі; воно розглядає найкоротшу [[Комп'ютерна програма|програму]] для [[Машина Тюрінга|універсального комп'ютера]], яка виводить цю послідовність. Такою програмою є код, який досягає ентропійної швидкості послідовності для заданої моделі, плюс кодовий словник (тобто, ймовірнісна модель), але вона не може бути найкоротшою.

Наприклад, послідовністю Фібоначчі є 1, 1, 2, 3, 5, 8, 13, …. При розгляді цієї послідовності як повідомлення, а кожного числа як символу, існує майже стільки ж символів, скільки є символів у повідомленні, даючи ентропію близько {{math|log<sub>2</sub>(''n'')}}. Таким чином, перші 128 символів послідовності Фібоначчі мають ентропію приблизно 7 біт/символ. Проте цю послідовність може бути виражено за допомогою формули [{{math|F(''n'') {{=}} F(''n''−1) + F(''n''−2)}} для {{math|''n'' {{=}} 3, 4, 5, …}}, {{math|F(1) {{=}}1}}, {{math|F(2) {{=}} 1}}], і ця формула має значно нижчу ентропію, і застосовується до послідовності Фібоначчі будь-якої довжини.

=== Обмеження ентропії в криптографії ===

В [[криптоаналіз]]і ентропію часто грубо використовують як міру непередбачуваності криптографічного ключа, хоча її справжня [[Принцип невизначеності|невизначеність]] є незмірною. Наприклад, 128-бітовий ключ, який породжено рівномірно випадково, має 128 біт ентропії. Він також вимагає (усереднено) <math>2^{128-1}</math> спроб для зламу грубою силою. Проте, ентропія не відображає число потрібних спроб, якщо можливі ключі вибирають не рівномірно.<ref>{{cite conference |first1=James |last1=Massey |year=1994 |title=Guessing and Entropy |booktitle=Proc. IEEE International Symposium on Information Theory |url=http://www.isiweb.ee.ethz.ch/archive/massey_pub/pdf/BI633.pdf |accessdate=31 грудня 2013 |archive-date=1 січня 2014 |archive-url=https://web.archive.org/web/20140101065020/http://www.isiweb.ee.ethz.ch/archive/massey_pub/pdf/BI633.pdf }} {{ref-en}}</ref><ref>{{cite conference |first1=David |last1=Malone |first2=Wayne |last2=Sullivan |year=2005 |title=Guesswork is not a Substitute for Entropy |booktitle=Proceedings of the Information Technology & Telecommunications Conference |url=http://www.maths.tcd.ie/~dwmalone/p/itt05.pdf |accessdate=31 грудня 2013 |archive-date=15 квітня 2016 |archive-url=https://web.archive.org/web/20160415054357/http://www.maths.tcd.ie/~dwmalone/p/itt05.pdf }} {{ref-en}}</ref> Натомість, для вимірювання зусиль, необхідних для атаки грубою силою, можна використовувати міру, що називають ''здогадом'' ({{lang-en|guesswork}}).<ref>{{cite conference |first1=John |last1=Pliam |year=1999 |title=Guesswork and variation distance as measures of cipher security|booktitle=International Workshop on Selected Areas in Cryptography |doi=10.1007/3-540-46513-8_5 }} {{ref-en}}</ref>

Через нерівномірність розподілів, що застосовують в криптографії, можуть виникати й інші проблеми. Наприклад, розгляньмо 1&nbsp;000&nbsp;000-цифровий двійковий [[шифр Вернама]] із застосуванням виключного «або». Якщо цей шифр має 1&nbsp;000&nbsp;000 біт ентропії, це чудово. Якщо цей шифр має 999&nbsp;999 біт ентропії, які розподілено рівномірно (коли кожен окремий біт шифру має 0.999999 біт ентропії), то він може пропонувати добру безпеку. Але якщо цей шифр має 999&nbsp;999 біт ентропії, так, що перший біт є незмінним, а решта 999&nbsp;999 бітів вибирають випадково, то перший біт шифрованого тексту не буде шифровано взагалі.

=== Дані як марковський процес ===

Звичний спосіб визначення ентропії для тексту ґрунтується на [[Марковська модель|марковській моделі]] тексту. Для джерела нульового порядку (кожен символ обирається незалежно від останніх символів) двійковою ентропією є

: <math>\Eta(\mathcal{S}) = - \sum p_i \log_2 p_i ,</math>

де {{math|''p''<sub>''i''</sub>}} є ймовірністю {{math|''i''}}. Для {{нп|Марковське джерело інформації|марковського джерела||Markov source}} першого порядку (такого, в якому ймовірність вибору символу залежить лише від безпосередньо попереднього символу) '''[[Ентропійна швидкість|ентропійною швидкістю]]''' є

: <math>\Eta(\mathcal{S}) = - \sum_i p_i \sum_j  \  p_i (j) \log_2 p_i (j) ,</math> {{citation needed|date=April 2013}}

де {{math|''i''}} є '''станом''' (деякими попередніми символами), а <math>p_i(j)</math> є ймовірністю {{math|''j''}} за заданого попереднього символу {{math|''i''}}.

Для марковського джерела другого порядку ентропійною швидкістю є

: <math>\Eta(\mathcal{S}) = -\sum_i p_i \sum_j p_i(j) \sum_k p_{i,j}(k)\ \log_2 \  p_{i,j}(k) .</math>

=== {{math|''b''}}-арна ентропія ===

В загальному випадку '''{{math|''b''}}-арна ентропія''' джерела <math>\mathcal{S}</math> {{math|{{=}} (''S'', ''P'')}} з [[Джерельна абетка|первинною абеткою]] {{math|''S'' {{=}} {''a''<sub>1</sub>, …, ''a''<sub>''n''</sub>}}} і [[Дискретний розподіл ймовірності|дискретним розподілом ймовірності]] {{math|''P'' {{=}} {''p''<sub>1</sub>, …, ''p''<sub>''n''</sub>}}}, де {{math|''p''<sub>''i''</sub>}} є імовірністю {{math|''a''<sub>''i''</sub>}} (скажімо, {{math|''p''<sub>''i''</sub> {{=}} ''p''(''a''<sub>''i''</sub>))}}, визначається як

: <math> \Eta_b(\mathcal{S}) = - \sum_{i=1}^n p_i \log_b p_i ,</math>

Зауваження: {{math|''b''}} у «{{math|''b''}}-арній ентропії» є числом різних символів ''ідеальної абетки'', яка використовується як стандартне мірило для вимірювання первинних абеток. В теорії інформації для абетки для кодування інформації є [[Необхідна і достатня умова|необхідними і достатніми]] два символи. Тому стандартним є брати {{math|''b'' {{=}} 2}} («двійкова ентропія»). Таким чином, ентропія первинної абетки, з її заданим емпіричним розподілом імовірності,&nbsp;— це число, яке дорівнює числу (можливо дробовому) символів «ідеальної абетки», з оптимальним розподілом імовірності, необхідних для кодування кожного символу первинної абетки. Також зверніть увагу, що «оптимальний розподіл імовірності» тут означає [[Дискретний рівномірний розподіл|рівномірний розподіл]]: первинна абетка з {{math|''n''}} символів має найвищу можливу ентропію (для абетки з {{math|''n''}} символів), коли розподіл імовірності абетки є рівномірним. Цією оптимальною ентропією виявляється {{math|log<sub>''b''</sub>(''n'')}}.

== Ефективність ==

Первинна абетка з нерівномірним розподілом матиме меншу ентропію, ніж якби ці символи мали рівномірний розподіл (тобто, були «оптимальною абеткою»). Цю дефективність ентропії може бути виражено відношенням, яке називається ефективністю:{{Cite quote|дата=травень 2016}}

: <math>\eta(X) = -\sum_{i=1}^n \frac{p(x_i) \log_b (p(x_i))}{\log_b (n)}=\log_n (\prod_{i=1}^n p(x_i)^{-p(x_i)})</math>{{Clarify|дата=травень 2016}}

Ефективність є корисною для кількісної оцінки ефективності використання [[Канал зв'язку|каналу зв'язку]]. Це формулювання також називають нормалізованою ентропією, оскільки ентропія ділиться на максимальну ентропію <math>{\log_b (n)}</math>. Крім того, ефективності байдужий вибір (додатної) бази {{math|''b''}}, про що свідчить нечутливість до неї в кінцевому логарифмі.

== Характеризування ==

Ентропія Шеннона {{нп|Характеризування|характеризується||Characterization (mathematics)}} невеликим числом критеріїв, перерахованих нижче. Будь-яке визначення ентропії, яке задовольняє ці припущення, має вигляд

: <math>-K\sum_{i=1}^np_i\log (p_i)</math>

де {{math|''K''}} є сталою, яка відповідає виборові одиниць вимірювання.

Далі {{math|''p''<sub>''i''</sub> {{=}} Pr(''X'' {{=}} ''x''<sub>''i''</sub>)}}, а {{math|Η<sub>''n''</sub>(''p''<sub>1</sub>, …, ''p''<sub>''n''</sub>) {{=}} Η(''X'')}}.

=== Неперервність ===

Ця міра повинна бути [[Неперервна функція|неперервною]], так що зміна значень ймовірностей на дуже незначну величину повинна змінювати ентропію лише на незначну величину.

=== Симетричність ===

При перевпорядкуванні виходів {{math|''x''<sub>''i''</sub>}} ця міра повинна залишатися незмінною.

: <math>\Eta_n\left(p_1, p_2, \ldots \right) = \Eta_n\left(p_2, p_1, \ldots \right)</math> тощо

=== Максимум ===

Ця міра повинна бути максимальною тоді, коли всі виходи є однаково правдоподібними (невизначеність є найвищою, коли всі можливі події є рівноймовірними).

: <math> \Eta_n(p_1,\ldots,p_n) \le \Eta_n\left(\frac{1}{n}, \ldots, \frac{1}{n}\right) = \log_b (n).</math>

Для рівноймовірних подій ентропія повинна зростати зі збільшенням числа виходів.

: <math>\Eta_n\bigg(\underbrace{\frac{1}{n}, \ldots, \frac{1}{n}}_{n}\bigg) = \log_b(n) < \log_b (n+1) = \Eta_{n+1}\bigg(\underbrace{\frac{1}{n+1}, \ldots, \frac{1}{n+1}}_{n+1}\bigg).</math>

Для безперервних випадкових змінних розподілом із максимальною [[Диференціальна ентропія|диференціальною ентропією]] є [[багатовимірний нормальний розподіл]].

=== Адитивність ===

Величина ентропії повинна не залежати від того, який поділ процесу на частини розглядається.

Ця остання функційна залежність характеризує ентропію системи з підсистемами. Вона вимагає, щоби ентропію системи можливо було обчислити з ентропій її підсистем, якщо взаємодії між цими підсистемами є відомими.

При заданому ансамблі {{math|''n''}} рівномірно розподілених елементів, які поділяються на {{math|''k''}} блоків (підсистем) з {{math|''b''<sub>1</sub>, ..., ''b''<sub>''k''</sub>}} елементами в кожному, ентропія всього ансамблю повинна дорівнювати сумі ентропії системи блоків і окремих ентропій блоків, кожна з яких є зваженою на ймовірність знаходження в цьому відповідному блоці.

Для [[Натуральні числа|додатних цілих чисел]] {{math|''b''<sub>''i''</sub>}}, де {{math|''b''<sub>1</sub> + … + ''b''<sub>''k''</sub> {{=}} ''n''}},

: <math>\Eta_n\left(\frac{1}{n}, \ldots, \frac{1}{n}\right) = \Eta_k\left(\frac{b_1}{n}, \ldots, \frac{b_k}{n}\right) = \sum_{i=1}^k \frac{b_i}{n} \, \Eta_{b_i}\left(\frac{1}{b_i}, \ldots, \frac{1}{b_i}\right).</math>

При обранні {{math|''k'' {{=}} ''n''}}, {{math|''b''<sub>1</sub> {{=}} … {{=}} ''b''<sub>''n''</sub> {{=}} 1}} це означає, що ентропія незмінного виходу дорівнює нулеві: {{math|Η<sub>1</sub>(1) {{=}} 0}}. Це означає, що ефективність первинної абетки з {{math|''n''}} символами може бути визначено просто як таку, що дорівнює її {{math|''n''}}-арній ентропії. Див. також [[надмірність інформації]].

== Додаткові властивості ==

Ентропія Шеннона задовольняє наступні властивості, для деяких з яких корисно інтерпретувати ентропію як кількість пізнаної інформації (або усуненої невизначеності) при розкритті значення випадкової величини {{math|''X''}}:

* Додавання або усування подій з нульовою ймовірністю не впливає на ентропію:

:: <math>\Eta_{n+1}(p_1,\ldots,p_n,0) = \Eta_n(p_1,\ldots,p_n)</math>.

* Ентропія дискретної випадкової змінної є невід'ємним числом:

:: <math>\Eta(X) \ge 0</math>.<ref name=cover1991>{{cite book |author1=Thomas M. Cover |author2=Joy A. Thomas |title=Elements of Information Theory |url=https://archive.org/details/elementsofinform0000cove_m4w2 |publisher=Wiley |location=Hoboken, New Jersey |isbn=978-0-471-24195-9|date=2006-07-18 }} {{ref-en}}</ref>{{rp|15}}

* За допомогою [[Нерівність Єнсена|нерівності Єнсена]] може бути підтверджено, що

:: <math>\Eta(X) = \operatorname{E}\left[\log_b \left( \frac{1}{p(X)}\right) \right] \leq \log_b \left( \operatorname{E}\left[ \frac{1}{p(X)} \right] \right) = \log_b(n)</math>.<ref name=cover1991 />{{rp|29}}

: Ця максимальна ентропія {{math|log<sub>''b''</sub>(''n'')}} ефективно досягається первинною абеткою, яка має рівномірний розподіл ймовірності: невизначеність є максимальною, коли всі можливі події є однаково ймовірними.

* Ентропія, або обсяг інформації, розкритої шляхом визначення {{math|(''X'',''Y'')}} (тобто визначення {{math|''X''}} та {{math|''Y''}} одночасно) дорівнює інформації, розкритої шляхом проведення двох послідовних експериментів: спершу виявлення значення {{math|''Y''}}, а потім виявлення значення {{math|''X''}}, за умови, що ви знаєте значення {{math|''Y''}}. Це може бути записано як

:: <math> \Eta(X,Y)=\Eta(X|Y)+\Eta(Y)=\Eta(Y|X)+\Eta(X).</math>

* Якщо <math>Y=f(X)</math>, де <math>f</math> є функцією, то <math>H(f(X)|X) = 0</math>. Застосування попередньої формули до <math>H(X,f(X))</math> дає

:: <math> \Eta(X)+\Eta(f(X)|X)=\Eta(f(X))+\Eta(X|f(X)),</math>

: отже, <math>H(f(X)|X) \le H(X)</math>, таким чином, ентропія величини може тільки зменшуватися, коли остання проходить через функцію.

* Якщо {{math|''X''}} та {{math|''Y''}} в є двома незалежними випадковими змінними, то знання значення {{math|''Y''}} не впливає на наше знання про значення {{math|''X''}} (оскільки ці двоє не впливають одне на одне в силу незалежності):

:: <math> \Eta(X|Y)=\Eta(X).</math>

* Ентропія двох одночасних подій є не більшою за суму ентропій кожної з окремих подій, і дорівнює їй, якщо ці дві події є незалежними. Точніше, якщо {{math|''X''}} та {{math|''Y''}} є двома випадковими величинами на одному й тому ж імовірнісному просторі, а {{math|(''X'', ''Y'')}} позначає їхній декартів добуток, то

:: <math> \Eta(X,Y)\leq \Eta(X)+\Eta(Y).</math>

* Ентропія <math>\Eta(p)</math> є [[Угнута функція|угнутою]] за функцією маси ймовірності <math>p</math>, тобто,

:: <math>\Eta(\lambda p_1 + (1-\lambda) p_2) \ge \lambda \Eta(p_1) + (1-\lambda) \Eta(p_2)</math>

: для всіх функцій маси ймовірності <math>p_1,p_2</math> та <math> 0 \le \lambda \le 1</math>.<ref name=cover1991 />{{rp|32}}

== Розширення дискретної ентропії до неперервного випадку ==

=== Диференціальна ентропія ===
{{Main|Диференціальна ентропія}}

Ентропію Шеннона обмежено випадковими величинами, які набувають дискретних значень. Відповідна формула для неперервної випадкової величини з [[Функція густини ймовірності|функцією густини ймовірності]] {{math|''f''(''x'')}} зі скінченною або нескінченною областю визначення <math>\mathbb X</math> на дійсній осі визначається аналогічно, з допомогою наведеного вище вираження ентропії як математичного сподівання:

: <math>h[f] = \operatorname{E}[-\ln (f(x))] = -\int_\mathbb X f(x) \ln (f(x))\, dx.</math>

Цю формулу зазвичай називають '''непере́рвною ентропі́єю''' ({{lang-en|continuous entropy}}), або [[Диференціальна ентропія|диференціальною ентропією]]. Попередником неперервної ентропії {{math|''h''[''f'']}} є вираз функціоналу {{math|''Η''}} в {{нп|Η-теорема Больцмана|Η-теоремі Больцмана||H-theorem}}.

Хоча аналогія між обома функціями й наводить на роздуми, мусить бути поставлено наступне питання: чи є диференціальна ентропія обґрунтованим розширенням дискретної ентропії Шеннона? Диференціальній ентропії бракує ряду властивостей, якими володіє дискретна ентропія Шеннона,&nbsp;— вона навіть може бути від'ємною,&nbsp;— і відтак було запропоновано поправки, зокрема, {{нп|границя густини дискретних точок|границю густини дискретних точок||Limiting density of discrete points}}.

Щоби відповісти на це питання, ми мусимо встановити зв'язок між цими двома функціями:

Ми хочемо отримати загальну скінченну міру при прямуванні [[Гістограма|розміру засіків]] до нуля. В дискретному випадку розмір засіків є (неявною) шириною кожного з {{math|''n''}} (скінченних або нескінченних) засіків, чиї ймовірності позначаються через {{math|''p''<sub>''n''</sub>}}. Оскільки ми робимо узагальнення до неперервної області визначення, ми мусимо зробити цю ширину явною.

Щоби зробити це, почнімо з неперервної функції {{math|''f''}}, дискретизованої засіками розміру <math>\Delta</math>.
<!-- Малюнок: Дискретизація функції $ f$ засіками ширини $ \Delta$ \includegraphics[width=\textwidth]{function-with-bins.eps} --><!-- Первинна стаття, з якої походить цей малюнок, є на http://planetmath.org/shannonsentropy, але воно й там зламане -->
Згідно теореми про середнє значення, в кожному засіку існує таке значення {{math|''x''<sub>''i''</sub>}}, що

: <math>f(x_i) \Delta = \int_{i\Delta}^{(i+1)\Delta} f(x)\, dx</math>

і відтак інтеграл функції {{math|''f''}} може бути наближено (в рімановому сенсі) за допомогою

: <math>\int_{-\infty}^{\infty} f(x)\, dx = \lim_{\Delta \to 0} \sum_{i = -\infty}^{\infty} f(x_i) \Delta</math>

де ця [[границя]] і «розмір засіку прямує до нуля» є рівноцінними.

Позначмо

: <math>\Eta^{\Delta} := - \sum_{i=-\infty}^{\infty} f(x_i)  \Delta \log \left(  f(x_i)  \Delta \right)</math>

і, розкриваючи цього логарифма, ми маємо

: <math>\Eta^{\Delta} = - \sum_{i=-\infty}^{\infty}  f(x_i)  \Delta \log (f(x_i)) -\sum_{i=-\infty}^{\infty} f(x_i) \Delta \log (\Delta).</math>

При Δ → 0 ми маємо

: <math>\begin{align}
\sum_{i=-\infty}^{\infty} f(x_i) \Delta &\to \int_{-\infty}^{\infty} f(x)\, dx = 1 \\
\sum_{i=-\infty}^{\infty} f(x_i) \Delta \log (f(x_i)) &\to \int_{-\infty}^{\infty} f(x) \log f(x)\, dx.
\end{align}</math>

Але зауважте, що {{math|log(Δ) → −∞}} при {{math|Δ → 0}}, отже, нам потрібне особливе визначення диференціалу або неперервної ентропії:

: <math>h[f] = \lim_{\Delta \to 0} \left(\Eta^{\Delta} + \log \Delta\right) = -\int_{-\infty}^{\infty} f(x) \log f(x)\,dx,</math>

що, як було сказано раніше, називають '''диференціа́льною ентропі́єю''' ({{lang-en|differential entropy}}). Це означає, що диференціальна ентропія ''не є'' границею ентропії Шеннона при {{math|''n'' → ∞}}. Вона радше відрізняється від границі ентропії Шеннона нескінченним зсувом (див. також статтю про {{нп|Інформаційна розмірність|інформаційну розмірність||Information dimension}}).

=== Границя густини дискретних точок ===
{{Докладніше1|{{нп|Границя густини дискретних точок|||Limiting density of discrete points}}}}

В результаті виходить, що, на відміну від ентропії Шеннона, диференціальна ентропія ''не'' є в цілому доброю мірою невизначеності або інформації. Наприклад, диференціальна ентропія може бути від'ємною; крім того, вона не є інваріантною відносно неперервних перетворень координат. Цю проблему може бути проілюстровано зміною одиниць вимірювання, коли {{math|''x''}} є розмірною величиною. {{math|''f''(''x'')}} тоді матиме одиниці {{math|1/''x''}}. Аргумент логарифма мусить бути безрозмірним, інакше він є неправильним, бо така диференціальна ентропія, як наведено вище, буде неправильною. Якщо <math>\Delta</math> є деяким «стандартним» значенням {{math|''x''}} (тобто, «розміром засіку»), і відтак має такі ж одиниці вимірювання, то видозмінену диференціальну ентропію може бути записано в належному вигляді як

: <math>
H=\int_{-\infty}^\infty f(x) \log(f(x)\,\Delta)\,dx
</math>

і результат буде однаковим при будь-якому виборі одиниць вимірювання для {{math|''x''}}. Насправді границя дискретної ентропії при {{math|''N'' → 0}} включала би також і член {{math|log(''N'')}}, який в загальному випадку був би нескінченним. Це є очікуваним, неперервні величини при дискретизації зазвичай матимуть нескінченну ентропію. {{нп|Границя густини дискретних точок|||Limiting density of discrete points}} в дійсності є мірою того, наскільки розподіл є простішим для опису за розподіл, який є [[Рівномірний розподіл|рівномірним]] над своєю схемою квантування.

=== Відносна ентропія ===
{{Докладніше1|{{нп|Узагальнена відносна ентропія|||Generalized relative entropy}}}}

Іншою корисною мірою ентропії, яка однаково добре працює в дискретному та неперервному випадках, є '''відно́сна ентропі́я''' ({{lang-en|relative entropy}}) розподілу. Вона визначається як [[відстань Кульбака — Лейблера]] від розподілу до еталонної міри {{math|''m''}} наступним чином. Припустімо, що розподіл імовірності {{math|''p''}} є [[Абсолютна неперервність|абсолютно неперервним]] відносно міри {{math|''m''}}, тобто має вигляд {{math|''p''(''dx'') {{=}} ''f''(''x'')''m''(''dx'')}} для деякої невід'ємної {{math|''m''}}-інтегрованої функції {{math|''f''}} з {{math|''m''}}-інтегралом 1, тоді відносну ентропію може бути визначено як

: <math>D_{\mathrm{KL}}(p \| m ) = \int \log (f(x)) p(dx) = \int f(x)\log (f(x)) m(dx) .</math>

В такому вигляді відносна ентропія узагальнює (з точністю до зміни знака) як дискретну ентропію, коли міра {{math|''m''}} є [[Лічильна міра|лічильною мірою]], так і диференціальну ентропію, коли міра {{math|''m''}} є [[Міра Лебега|мірою Лебега]]. Якщо міра {{math|''m''}} і сама є розподілом ймовірності, то відносна ентропія є невід'ємною, і нульовою, якщо {{math|''p'' {{=}} ''m''}} як міри. Вона визначається для будь-якого простору мір, отже, не залежить від координат, і є інваріантною відносно перепараметризації координат, якщо перетворення міри {{math|''m''}} береться до уваги правильно. Відносна ентропія, і неявно ентропія та диференціальна ентропія, залежать від «базової» міри {{math|''m''}}.

== Застосування в комбінаториці ==

Ентропія стала корисною величиною в [[Комбінаторика|комбінаториці]].

=== Нерівність Люміса&nbsp;— Уїтні ===

Простим прикладом цього є альтернативне доведення {{нп|Нерівність Люміса — Вітні|нерівності Люміса&nbsp;— Вітні||Loomis–Whitney inequality}}: для будь-якої підмножини {{math|''A'' ⊆ '''Z'''<sup>''d''</sup>}} ми маємо

: <math> |A|^{d-1}\leq \prod_{i=1}^{d} |P_{i}(A)|</math>

де {{math|''P''<sub>''i''</sub>}} є [[Ортогонально-проєкційна матриця|ортогональною проєкцією]] в {{math|''i''}}-й координаті:

: <math> P_{i}(A)=\{(x_{1}, \ldots, x_{i-1}, x_{i+1}, \ldots, x_{d}) : (x_{1}, \ldots, x_{d})\in A\}.</math>

Це доведеня випливає як простий наслідок {{нп|Нерівність Ширера|нерівності Ширера||Shearer's inequality}}: якщо {{math|''X''<sub>1</sub>, …, ''X''<sub>''d''</sub>}} є випадковими величинами, а {{math|''S''<sub>1</sub>, …, ''S''<sub>''n''</sub>}} є підмножинами {{math|{1, …, ''d''}}}, такими, що кожне ціле число між 1 і {{math|''d''}} лежить точно в {{math|''r''}} з цих підмножин, то

: <math> \Eta[(X_{1}, \ldots ,X_{d})]\leq \frac{1}{r}\sum_{i=1}^{n}\Eta[(X_{j})_{j\in S_{i}}]</math>

де <math> (X_{j})_{j\in S_{i}}</math> є декартовим добутком випадкових величин {{math|''X''<sub>''j''</sub>}} з індексами {{math|''j''}} в {{math|''S''<sub>''i''</sub>}} (тому розмірність цього вектора дорівнює розмірові {{math|''S''<sub>''i''</sub>}}).

Ми зробимо нарис, як з цього випливає Люміс&nbsp;— Уїтні: справді, нехай {{math|''X''}} є рівномірно розподіленою випадковою величиною зі значеннями в {{math|''A''}}, і такою, що кожна точка з {{math|''A''}} трапляється з однаковою ймовірністю. Тоді (згідно додаткових властивостей ентропії, згадуваних вище) {{math|Η(''X'') {{=}} log{{!}}''A''{{!}}}}, де {{math|{{!}}''A''{{!}}}} позначає [[Потужність множини|потужність]] {{math|''A''}}. Нехай {{math|''S''<sub>''i''</sub> {{=}} {1, 2, …, ''i''−1, ''i''+1, …, ''d''}}}. Діапазон <math>(X_{j})_{j\in S_{i}}</math> міститься в {{math|''P''<sub>''i''</sub>(''A'')}} і, отже, <math> \Eta[(X_{j})_{j\in S_{i}}]\leq \log |P_{i}(A)|</math>. Тепер застосуймо це, щоби обмежити праву частину нерівності Ширера, і піднести до степеня протилежні частини нерівності, яку ви отримали в результаті.

=== Наближення до біноміального коефіцієнту ===

Для цілих чисел {{math|0 < ''k'' < ''n''}} покладімо {{math|''q'' {{=}} ''k''/''n''}}. Тоді

: <math>\frac{2^{n\Eta(q)}}{n+1} \leq \tbinom nk \leq 2^{n\Eta(q)},</math>

де

: <math>\Eta(q) = -q \log_2(q) - (1-q) \log_2(1-q).</math><ref>Aoki, New Approaches to Macroeconomic Modeling. {{ref-en}}</ref>{{rp|43}}

Нижче наведено схематичне доведення. Зауважте, що <math>\tbinom nk q^{qn}(1-q)^{n-nq}</math> є одним із членів суми

: <math>\sum_{i=0}^n \tbinom ni q^i(1-q)^{n-i} = (q + (1-q))^n = 1.</math>

Відповідно, з нерівності <math>\tbinom nk q^{k}(1-q)^{n-k} \leq 1</math> після логарифмування отримується верхня межа.

Для отримання нижньої межі спочатку шляхом певних перетворень показується, що доданок <math>\tbinom nk q^{qn}(1-q)^{n-nq}</math> є найбільшим членом у наведеній сумі. Але тоді

: <math>\binom nk q^{qn}(1-q)^{n-nq} \geq \frac{1}{n+1}</math>

оскільки біном містить {{math|''n'' + 1}} членів. Звідси випливає нижня межа.

Наведені результати інтерпретуються, наприклад, таким чином: число двійкових стрічок довжини {{math|''n''}}, які містять рівно {{math|''k''}} одиниць, можна оцінити як <math>2^{n\Eta(k/n)}</math>.<ref>Probability and Computing, M. Mitzenmacher and E. Upfal, Cambridge University Press {{ref-en}}</ref>

== Див. також ==
<!-- {{Portal|Статистика|Криптографія}} -->
{{Портал|Математика}}
{{colbegin}}
* [[Взаємна інформація]]
* [[Випадковість]]
* [[Відстань Геммінга]]
* [[Відстань Левенштейна]]
* {{нп|Геометрія інформації|||Information geometry}}
* [[Ентропійна швидкість]]
* [[Ентропійне кодування]]&nbsp;— схема кодування, яка призначає коди символам таким чином, щоби довжини кодів відповідали ймовірностям символів
* {{нп|Ентропія (вісь часу)|||Entropy (arrow of time)}}
* {{нп|Ентропія графа|||Graph entropy}}
* {{нп|Ентропія Колмогорова — Синая|||Kolmogorov-Sinai entropy}} в [[Динамічна система|динамічних системах]]
* [[Ентропія Реньї]]&nbsp;— узагальнення ентропії Шеннона; вона є однією з сімейства функціоналів для кількісної оцінки різноманіття, невизначеності або випадковості системи.
* [[Ентропія Цалліса]]
* [[Індекс різноманітності]]&nbsp;— альтернативні підходи до кількісної оцінки різноманітності в розподілі ймовірності
* [[Індекс Тейла]]
* [[Індекс Шеннона]]
* [[Інформація за Фішером]]
* {{нп|Історія ентропії|||History of entropy}}
* {{нп|Історія теорії інформації|||History of information theory}}
* {{нп|Квантова відносна ентропія|||Quantum relative entropy}}&nbsp;— міра розрізнюваності між двома квантовими станами
* [[Множник Лагранжа]]
* [[Негентропія]]
* {{нп|Нерівність ентропійної потужності|||Entropy power inequality}}
* [[Типоглікемія]]
* {{нп|Оцінка ентропії|||Entropy estimation}}
* [[Перехресна ентропія]]&nbsp;— є мірою усередненого числа бітів, необхідних для ідентифікації події з набору можливостей між двома розподілами ймовірності
* [[Перплексивність]]
* [[Спільна ентропія]]&nbsp;— це міра того, як багато ентропії міститься в спільній системі з двох випадкових величин.
* [[Умовна ентропія]]
* {{нп|Якісна варіативність|||Qualitative variation}}&nbsp;— інші міри [[Статистична дисперсія|статистичної дисперсії]] для [[Номінальна шкала|номінальних розподілів]]
{{colend}}

== Примітки ==
{{Примітки}}
<!-- {{PlanetMath attribution|id=968|title=Shannon's entropy}} -->

== Література ==

=== Підручники з теорії інформації ===

* Теорія інформації і кодування: навч. посіб. / А.&nbsp;Я.&nbsp;Кулик, С.&nbsp;Г.&nbsp;Кривогубченко; Вінниц. нац. техн. ун-т.&nbsp;— Вінниця, 2008.&nbsp;— 145 c.
* Теорія інформації: навч. посіб. / Н.&nbsp;О.&nbsp;Тулякова; Сум. держ. ун-т.&nbsp;— Суми, 2008.&nbsp;— 212 c.
* Теорія інформації: навч. посіб. / В.&nbsp;В.&nbsp;Дядичев, Б.&nbsp;М.&nbsp;Локотош, А.&nbsp;В.&nbsp;Колєсніков; Східноукр. нац. ун-т ім. В. Даля.&nbsp;— Луганськ, 2009.&nbsp;— 249 c.
* Теорія інформації та кодування / В.&nbsp;С.&nbsp;Василенко, О.&nbsp;Я.&nbsp;Матов; НАН України, [[Інститут проблем реєстрації інформації НАН України|Ін-т пробл. реєстрації інформації]].&nbsp;— Київ : [[Інститут проблем реєстрації інформації НАН України|ІПРІ]] НАН України, 2014.&nbsp;— 439 c.
* Теорія інформації та кодування: підручник / В.&nbsp;І.&nbsp;Барсов, [[Краснобаєв Віктор Анатолійович|В.&nbsp;А.&nbsp;Краснобаєв]], З.&nbsp;В.&nbsp;Барсова, О.&nbsp;І.&nbsp;Тиртишніков, І.&nbsp;В.&nbsp;Авдєєв; ред.: В.&nbsp;І.&nbsp;Барсов; МОНМС України, Укр. інж.-пед. акад., Полтав. нац. техн. ун-т ім. Ю. Кондратюка.&nbsp;— Полтава, 2011.&nbsp;— 321 c.
* Теорія інформації та кодування: Підруч. для студ. вищ. техн. навч. закл. / Ю.&nbsp;П.&nbsp;Жураковський, В.&nbsp;П.&nbsp;Полторак.&nbsp;— К. : «Вища шк.», 2001.&nbsp;— 255 c.
* Arndt, C. (2004), ''Information Measures: Information and its Description in Science and Engineering'', Springer, {{isbn|978-3-540-40855-0}} {{ref-en}}
* [[Томас Коувер|Cover, T. M.]], Thomas, J. A. (2006), ''Elements of information theory'', 2nd Edition. Wiley-Interscience. {{isbn|0-471-24195-4}}. {{ref-en}}
* Gray, R. M. (2011), ''Entropy and Information Theory'', Springer. {{ref-en}}
* {{нп|Девід МакКей|MacKay, David J. C.||David J. C. MacKay}}. ''[http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms] {{Webarchive|url=https://web.archive.org/web/20160217105359/http://www.inference.phy.cam.ac.uk/mackay/itila/book.html |date=17 лютого 2016 }}'' Cambridge: Cambridge University Press, 2003. {{isbn|0-521-64298-1}} {{ref-en}}
* {{cite book|authors=Martin, Nathaniel F.G. & England, James W.|title=Mathematical Theory of Entropy|publisher=Cambridge University Press|year=2011|isbn=978-0-521-17738-2|url=https://books.google.com/books?id=_77lvx7y8joC|accessdate=6 червня 2017|archive-date=19 березня 2015|archive-url=https://web.archive.org/web/20150319012011/http://books.google.com/books?id=_77lvx7y8joC}} {{ref-en}}
** {{книга|автор=Мартин Н., Ингленд Дж.|заголовок=Математическая теория энтропии|місце=М.|видавництво=Мир|рік=1988|сторінок=350}} {{ref-ru}}
* [[Клод Шеннон|Shannon, C.E.]], [[Воррен Вівер|Weaver, W.]] (1949) ''The Mathematical Theory of Communication'', Univ of Illinois Press. {{isbn|0-252-72548-4}} {{ref-en}}
* Stone, J. V. (2014), Chapter 1 of [http://jim-stone.staff.shef.ac.uk/BookInfoTheory/InfoTheoryBookMain.html ''Information Theory: A Tutorial Introduction''] {{Webarchive|url=https://web.archive.org/web/20160603070027/http://jim-stone.staff.shef.ac.uk/BookInfoTheory/InfoTheoryBookMain.html |date=3 червня 2016 }}, University of Sheffield, England. {{isbn|978-0956372857}}. {{ref-en}}
* <!-- Був у посиланні в цій статі до перекладу: --> {{cite book|title=Теория информации и теория кодирования|author=Хэмминг Р. В.|publisher=Радио и Связь|place=Москва|year=1983|isbn=}} {{ref-ru}}

== Посилання ==
<!-- {{external cleanup|date=June 2015}} -->
<!-- {{Library resources box|onlinebooks=yes}} -->

* {{springer|title=Entropy|id=p/e035740}} {{ref-en}}
* [http://pespmc1.vub.ac.be/ENTRINFO.html Введення в ентропію та інформацію] {{Webarchive|url=https://web.archive.org/web/20160517073644/http://pespmc1.vub.ac.be/entrinfo.html |date=17 травня 2016 }} на {{нп|Principia Cybernetica Web}} {{ref-en}}
* ''[http://www.mdpi.com/journal/entropy Entropy] {{Webarchive|url=https://web.archive.org/web/20160531032753/http://www.mdpi.com/journal/entropy |date=31 травня 2016 }}'', міждисциплінарний журнал про всі аспекти поняття ентропії. Відкритий доступ. {{ref-en}}
* [https://web.archive.org/web/20110515195708/http://www.rheingold.com/texts/tft/6.html Опис інформаційної ентропії з «Tools for Thought» Говарда Райнгольда] {{ref-en}}
* [http://math.ucsd.edu/~crypto/java/ENTROPY/ Аплет Java, який представляє експеримент Шеннона з обчислення ентропії англійської мови] {{Webarchive|url=https://web.archive.org/web/20160513192308/http://www.math.ucsd.edu/~crypto/java/ENTROPY/ |date=13 травня 2016 }}
* [https://web.archive.org/web/20190207130355/https://www.autonlab.org/tutorials/infogain.html Слайди про приріст інформації та ентропію] {{ref-en}}
* [[Wikibooks:An Intuitive Guide to the Concept of Entropy Arising in Various Sectors of Science|''An Intuitive Guide to the Concept of Entropy Arising in Various Sectors of Science'']]&nbsp;— вікікнига про інтерпретацію поняття ентропії. {{ref-en}}
* [https://researchspace.auckland.ac.nz/handle/2292/3427 Network Event Detection With Entropy Measures] {{Webarchive|url=https://web.archive.org/web/20160413080713/https://researchspace.auckland.ac.nz/handle/2292/3427 |date=13 квітня 2016 }}, Dr. Raimund Eimann, University of Auckland, PDF; 5993&nbsp;kB&nbsp;— докторська праця, яка демонструє, як вимірювання ентропії можуть застосовуватися для виявлення мережевих аномалій. {{ref-en}}
* [http://rosettacode.org/wiki/Entropy Entropy] {{Webarchive|url=https://web.archive.org/web/20160604053728/http://rosettacode.org/wiki/Entropy |date=4 червня 2016 }}&nbsp;— репозитарій {{нп|Rosetta Code}} реалізацій ентропії Шеннона різними мовами програмування.
* [http://tuvalu.santafe.edu/~simon/it.pdf "Information Theory for Intelligent People"] {{Webarchive|url=https://web.archive.org/web/20200613105841/http://tuvalu.santafe.edu/~simon/it.pdf |date=13 червня 2020 }}. Коротке введення до аксіом теорії інформації, ентропії, взаємної інформації, відстані Кульбака&nbsp;— Лейблера та відстані Єнсена&nbsp;— Шеннона. {{ref-en}}
* [http://www.shannonentropy.netmark.pl Інтерактивний інструмент для обчислення ентропії (простого тексту ASCII)] {{Webarchive|url=https://web.archive.org/web/20220415213805/https://www.shannonentropy.netmark.pl/ |date=15 квітня 2022 }}
* [//servertest.online/entropy Інтерактивний інструмент для обчислення ентропії (двійкового входу)]

{{Методи стиснення даних}}
{{Authority control}}

[[Категорія:Ентропія й інформація]]
[[Категорія:Теорія інформації|Ентропія]]
[[Категорія:Статистична випадковість]]