Взаємна інформація

Діаграма Венна різних мір інформації, пов'язаних із корельованими величинами X та Y. Область, яка міститься в обох колах, є спільною ентропією Η(X,Y). Коло ліворуч (червоний і фіолетовий) є особистою ентропією Η(X), в якому червоне є умовною ентропією Η(X|Y). Коло праворуч (синій та фіолетовий) є Η(Y), а синє в ньому є Η(Y|X). Фіолетове є взаємною інформацією I(X;Y).

У теорії ймовірностей та теорії інформації взає́мна інформа́ція (англ. mutual information, MI) двох випадкових величин — це міра взаємної залежності між цими двома величинами. Конкретніше, вона визначає «кількість інформації» (в таких одиницях, як біти), отримуваної про одну випадкову величину через іншу випадкову величину. Поняття взаємної інформації нерозривно пов'язане з ентропією випадкової величини, фундаментальним поняттям теорії інформації, яке визначає «кількість інформації», яка міститься у випадковій величині.

Не обмежуючись дійснозначними випадковими величинами, такими як коефіцієнт кореляції, взаємна інформація є загальнішою, і визначає, наскільки подібним є спільний розподіл p(X,Y) до добутків розкладених відособлених розподілів p(X)p(Y). Взаємна інформація — це математичне сподівання поточкової взаємної інформації (англ. pointwise mutual information, PMI). Найпоширенішою одиницею вимірювання взаємної інформації є біт.

Визначення взаємної інформації

Формально взаємну інформацію двох дискретних випадкових величин X та Y може бути визначено як

$I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)},\,\!$

де p(x,y) є функцією спільного розподілу ймовірностей X та Y, а $p(x)$ та $p(y)$ є функціями відособлених розподілів імовірності X та Y відповідно.

У випадку неперервних випадкових величин підсумовування замінюється визначеним подвійним інтегралом:

$I(X;Y)=\int _{Y}\int _{X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}\;dx\,dy,$

де p(x,y) тепер є функцією густини спільної ймовірності X та Y, а $p(x)$ та $p(y)$ є функціями густини відособлених імовірностей X та Y відповідно.

Якщо застосовується логарифм за основою 2, то одиницею вимірювання взаємної інформації є біт.

Інтуїтивно, взаємна інформація вимірює інформацію, яку поділяють X та Y: вона вимірює, наскільки знання однієї з цих величин зменшує невизначеність щодо іншої. Наприклад, якщо X та Y є незалежними, то знання X не дає жодної інформації про Y, і навпаки, тому їхня взаємна інформація дорівнює нулеві. З іншого боку, якщо X є детермінованою функцією від Y, і Y є детермінованою функцією від X, то вся інформація, яка передається X, є спільною з Y: знання X визначає значення Y, і навпаки. В результаті, в цьому випадку взаємна інформація є тим же, що й невизначеність, яка міститься окремо в Y (або X), а саме, ентропією Y (або X). Крім того, ця взаємна інформація є такою ж, як і ентропія X та як ентропія Y. (Дуже особливим випадком цього є такий, коли X та Y є однією й тією ж випадковою величиною.)

Взаємна інформація є мірою притаманної залежності, вираженої в спільному розподілі X та Y, по відношенню до спільного розподілу X та Y за припущення незалежності. Взаємна інформація відтак вимірює залежність у наступному сенсі: I(X; Y) = 0, якщо і лише якщо X та Y є незалежними випадковими величинами. Це легко побачити в одному напрямку: якщо X та Y є незалежними, то p(x,y) = p(x) p(y), і тому

$\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}=\log 1=0.\,\!$

Крім того, взаємна інформація є невід'ємною (тобто, I(X;Y) ≥ 0; див. нижче) і симетричною (тобто, I(X;Y) = I(Y;X)).

Відношення до інших величин

Взаємну інформацію може бути рівнозначно виражено як

${\begin{aligned}I(X;Y)&{}=H(X)-H(X|Y)\\&{}=H(Y)-H(Y|X)\\&{}=H(X)+H(Y)-H(X,Y)\\&{}=H(X,Y)-H(X|Y)-H(Y|X)\end{aligned}}$

де $\ H(X)$ та $\ H(Y)$ є відособленими ентропіями, Η(X|Y) та Η(Y|X) є умовними ентропіями, а Η(X,Y) є спільною ентропією X та Y. Зверніть увагу на аналогію з об'єднанням, різницею та перетином двох множин, яку показано в діаграмі Венна.

Застосовуючи нерівність Єнсена до визначення взаємної інформації, можна показати, що I(X;Y) є невід'ємною, отже, $\ H(X)\geq H(X|Y)$. Тут ми наводимо докладне виведення I(X;Y) = Η(Y) – Η(Y|X):

${\begin{aligned}I(X;Y)&{}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)p(y)}}\\&{}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)}}-\sum _{x,y}p(x,y)\log p(y)\\&{}=\sum _{x,y}p(x)p(y|x)\log p(y|x)-\sum _{x,y}p(x,y)\log p(y)\\&{}=\sum _{x}p(x)\left(\sum _{y}p(y|x)\log p(y|x)\right)-\sum _{y}\log p(y)\left(\sum _{x}p(x,y)\right)\\&{}=-\sum _{x}p(x)H(Y|X=x)-\sum _{y}\log p(y)p(y)\\&{}=-H(Y|X)+H(Y)\\&{}=H(Y)-H(Y|X).\\\end{aligned}}$

Доведення інших наведених вище тотожностей є схожими на це.

Інтуїтивно, якщо ентропія Η(Y) розглядається як міра невизначеності випадкової величини, то Η(Y|X) є мірою того, що X не каже стосовно Y. Це є «кількістю невизначеності Y, яка залишається після того, як стала відомою X», і, отже, праву частину першого з цих рівнянь можна читати як «кількість невизначеності Y за вирахуванням кількості невизначеності Y, яка залишається після того, як стала відомою X», що рівнозначно «кількість невизначеності Y, яка усувається, коли стає відомою X». Це підтримує інтуїтивне значення взаємної інформації як кількості інформації (тобто, зниження невизначеності), яке знання однієї з величин забезпечує стосовно іншої.

Зауважте, що в дискретному випадку Η(X|X) = 0 і, отже, Η(X) = I(X;X). Таким чином, I(X;X) ≥ I(X;Y), і можна сформулювати основний принцип, що величина містить про себе щонайменше стільки ж інформації, скільки могла би забезпечити будь-яка інша величина.

Взаємну інформацію також може бути виражено як відстань Кульбака — Лейблера добутку p(x) × p(y) відособлених розподілів двох випадкових величин x та y від спільного розподілу цих випадкових величин p(x,y):

$I(X;Y)=D_{\mathrm {KL} }(p(x,y)\|p(x)p(y)).$

Крім того, нехай p(x|y) = p(x, y) / p(y). Тоді

${\begin{aligned}I(X;Y)&{}=\sum _{y}p(y)\sum _{x}p(x|y)\log _{2}{\frac {p(x|y)}{p(x)}}\\&{}=\sum _{y}p(y)\;D_{\mathrm {KL} }(p(x|y)\|p(x))\\&{}=\mathbb {E} _{Y}\{D_{\mathrm {KL} }(p(x|y)\|p(x))\}.\end{aligned}}$

Зауважте, що тут відстань Кульбака — Лейблера передбачає інтегрування лише за випадковою величиною X, і вираз $D_{\mathrm {KL} }(p(x|y)\|p(x))$ тепер є випадковою величиною в Y. Таким чином, взаємну інформацію можна також розуміти як математичне сподівання відстані Кульбака — Лейблера одновимірного розподілу p(X) величини X від умовного розподілу p(x|y) величини X відносно Y: що більш відмінними в середньому є розподіли p(x|y) та p(x), то більшим є приріст інформації.

Варіації взаємної інформації

Для задоволення різних потреб було запропоновано кілька варіацій взаємної інформації. Серед них є нормалізовані варіанти та узагальнення до понад двох величин.

Метрика

Багато застосувань вимагають метрики, тобто міри відстань між парами точок. Величина

$d(X,Y)=H(X,Y)-I(X;Y)=H(X)+H(Y)-2I(X;Y)=H(X|Y)+H(Y|X)$

задовольняє властивості метрики (нерівність трикутника, невід'ємність, нерозрізнюваність та симетрію). Ця метрика відстані також відома як різновидність інформації.

Якщо $X,Y$ є дискретними випадковими величинами, то всі члени ентропії є невід'ємними, тому $0\leq d(X,Y)\leq H(X,Y)$ і можна визначити унормовану відстань

$D(X,Y)=d(X,Y)/H(X,Y)\leq 1.$

Метрика D є універсальною метрикою, в тому сенсі, що якщо будь-яка інша міра відстані розмістить X та Y поруч, то й D також розглядатиме їх як близькі.

Підключення визначень показує, що

$D(X,Y)=1-I(X;Y)/H(X,Y).$

У теоретико-множинній інтерпретації інформації (див. малюнок в умовній ентропії) це є фактично відстанню Жаккара між X та Y.

Нарешті,

$D^{\prime }(X,Y)=1-{\frac {I(X;Y)}{\max(H(X),H(Y))}}$

також є метрикою.

Умовна взаємна інформація

Детальніші відомості з цієї теми ви можете знайти в статті Умовна взаємна інформація.

Іноді корисно виражати взаємну інформацію двох випадкових величин відносно третьої.

$I(X;Y|Z)=\mathbb {E} _{Z}{\big (}I(X;Y)|Z{\big )}=\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{Z}(z)p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}},$

що може бути спрощено як

$I(X;Y|Z)=\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{X,Y,Z}(x,y,z)\log {\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.$

Обумовлювання третьою випадковою величиною може збільшувати або зменшувати взаємну інформацію, але завжди залишається істинним те, що

$I(X;Y|Z)\geq 0$

для дискретних спільно розподілених випадкових величин X, Y та Z. Цей результат застосовувався як основний будівельний блок для доведення інших нерівностей в теорії інформації.

Багатовимірна взаємна інформація

Детальніші відомості з цієї теми ви можете знайти в статті Багатовимірна взаємна інформація.

Було запропоновано декілька узагальнень взаємної інформації для понад двох випадкових величин, такі як повна кореляція та інформація взаємодії. Якщо розглядати ентропію Шеннона як знакову міру в контексті інформаційних діаграм, як описано в статті «Теорія інформації та теорія міри», то єдиним визначенням багатовимірної взаємної інформації, яке має сенс,^{[джерело?]} є наступне:

$I(X_{1};X_{1})=H(X_{1})$

і для $n>1$

$I(X_{1};\,...\,;X_{n})=I(X_{1};\,...\,;X_{n-1})-I(X_{1};\,...\,;X_{n-1}|X_{n}),$

де (як вище) ми визначаємо

$I(X_{1};\,...\,;X_{n-1}|X_{n})=\mathbb {E} _{X_{n}}{\big (}I(X_{1};\,...\,;X_{n-1})|X_{n}{\big )}.$

(Це визначення багатовимірної взаємної інформації є ідентичним визначенню інформації взаємодії, за виключенням зміни знаку, коли число випадкових величин є непарним.)

Застосування

Сліпе застосування інформаційних схем для виведення вищевказаного визначення^{[джерело?]} зазнавало критики,^[чиєї?] і дійсно, воно знайшло досить обмежене практичне застосування, оскільки важко уявити або зрозуміти значення цієї кількості для великого числа випадкових величин. Вона може бути нульовою, додатною або від'ємною для будь-якого $n\geq 3.$

Одна зі схем багатовимірного узагальнення, яка максимізує взаємну інформацію між спільним розподілом та іншими цільовими величинами, виявилася корисною у виборі ознак.

Взаємна інформація також застосовується в галузі обробки сигналів як міра схожості двох сигналів. Наприклад, метрика взаємної інформації ознак (англ. FMI, feature mutual information) — це міра продуктивності злиття зображень, яка застосовує взаємну інформацію для вимірювання кількості інформації, яку злите зображення містить про первинні зображення. Код MATLAB для цієї метрики можна знайти за адресою .

Унормовані варіанти

Унормовані варіанти взаємної інформації забезпечуються коефіцієнтами обмеження, коефіцієнтом невизначеності або вправністю (англ. proficiency):

$C_{XY}={\frac {I(X;Y)}{H(Y)}}~~~~$ і $~~~~C_{YX}={\frac {I(X;Y)}{H(X)}}.$

Ці два коефіцієнти не обов'язково дорівнюють один одному. В деяких випадках може бути бажаною симетрична міра, така як наступна міра надлишковості (англ. redundancy):

$R={\frac {I(X;Y)}{H(X)+H(Y)}}$

яка досягає нульового мінімуму, коли величини є незалежними, і максимального значення

$R_{\max }={\frac {\min(H(X),H(Y))}{H(X)+H(Y)}}$

коли одна з величин стає абсолютно надлишковою при знанні іншої. Див. також надлишковість (теорія інформації). Іншою симетричною мірою є симетрична невизначеність (Віттен & Френк 2005), яка задається як

$U(X,Y)=2R=2{\frac {I(X;Y)}{H(X)+H(Y)}}$

що являє собою зважене усереднення двох коефіцієнтів невизначеності.

Якщо розглядати взаємну інформацію як окремий випадок повної кореляції або двоїстої повної кореляції, то унормованими версіями відповідно є

${\frac {I(X;Y)}{\min \left[H(X),H(Y)\right]}}$ і ${\frac {I(X;Y)}{H(X,Y)}}\;.$

Нарешті, існує унормування, яке випливає з першого розгляду взаємної інформації як аналогу коваріації (таким чином ентропії Шеннона є аналогом дисперсії). Потім унормована взаємна інформація розраховується подібно до коефіцієнту кореляції Пірсона,

${\frac {I(X;Y)}{\sqrt {H(X)H(Y)}}}\;.$

Зважені варіанти

В традиційному формулюванні взаємної інформації

$I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},$

кожна подія чи об'єкт, вказані як $(x,y)$, зважуються відповідною ймовірністю $p(x,y)$. Це передбачає, що всі об'єкти або події є рівнозначними без врахування ймовірностей їх настання. Проте в деяких застосуваннях може бути так, що певні об'єкти або події є більш значущими, ніж інші, або що деякі шаблони зв'язків є семантично важливішими за інші.

Наприклад, детерміноване відображення $\{(1,1),(2,2),(3,3)\}$ може розглядатися як сильніше за детерміноване відображення $\{(1,3),(2,1),(3,2)\}$, хоча ці відношення видадуть однакову взаємну інформацію. Це відбувається тому, що взаємна інформація взагалі не чутлива до жодного природного впорядкування значень величин (Cronbach, 1954, Coombs, Dawes та Tversky, 1970, Lockhead, 1970), і тому взагалі не чутлива до форми відносного відображення між зв'язаними величинами. Якщо бажано, щоби перше відношення — яке показує узгодженість за всіма значеннями величин — оцінювалося вище, ніж друге відношення, то можна використовувати наступну зважену взаємну інформацію (Guiasu, 1977).

$I(X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},$

яка поміщає вагу $w(x,y)$ на імовірність кожного збігу значень величин, $p(x,y)$. Це дозволяє робити так, щоби деякі ймовірності могли нести більше або менше важливості за інші, тим самим дозволяючи кількісно виразити відповідні чинники цілісності (англ. holistic) або виразності (нім. prägnanz). У наведеному вище прикладі застосування більших відносних ваг для $w(1,1)$, $w(2,2)$ і $w(3,3)$ матиме ефект вищої оцінки інформативності для відношення $\{(1,1),(2,2),(3,3)\}$, ніж для відношення $\{(1,3),(2,1),(3,2)\}$, що може бути бажаним в деяких випадках розпізнавання образів тощо. Ця зважена взаємна інформація є вираженням зваженої відстані Кульбака — Лейблера, яка, як відомо, може набувати від'ємних значень для деяких входів, і є приклади, де зважена взаємна інформація також набуває від'ємних значень.

Скоригована взаємна інформація

Детальніші відомості з цієї теми ви можете знайти в статті Скоригована взаємна інформація.

Розподіл імовірності можна розглядати як розбиття множини. Можна запитати: якщо множину було розбито випадковим чином, яким буде розподіл імовірностей? Яким буде математичне сподівання взаємної інформації? Скоригована взаємна інформація (англ. adjusted mutual information, AMI) віднімає математичне сподівання взаємної інформації таким чином, що вона дорівнює нулеві, коли два різних розподіли носять випадковий характер, і одиниці, коли два розподіли збігаються. Скоригована взаємна інформація визначається за аналогією зі скоригованим індексом Ренда двох різних розбиттів множини.

Абсолютна взаємна інформація

З допомогою ідей колмогоровської складності можна розглядати взаємну інформацію двох послідовностей незалежно від будь-якого розподілу ймовірностей:

$I_{K}(X;Y)=K(X)-K(X|Y).$

Встановлення того, що ця величина є симетричною з точністю до логарифмічного множника ($I_{K}(X;Y)\approx I_{K}(Y;X)$), потребує ланцюгового правила для колмогоровскої складності (Li та Vitányi, 1997). Наближення цієї величини через стиснення може може застосовуватися для визначення міри відстані для виконання ієрархічного кластерування послідовностей без жодного знання про предметну область цих послідовностей (Cilibrasi, 2005).

Взаємна інформація та лінійна кореляція

На відміну від коефіцієнтів кореляції, наприклад, коефіцієнту кореляції моменту добутку, взаємна інформація містить інформацію про всю залежність — лінійну і нелінійну, — а не просто про лінійну залежність, як міри коефіцієнтів кореляції. Тим не менш, у вузькому випадку, в якому відособлені розподіли для X та Y розподілені нормально, і їхній спільний розподіл є двовимірним нормальним розподілом, існує точний взаємозв'язок між I та коефіцієнтом кореляції $\rho$ (Гельфанд та Яглом, 1957).

$I=-{\frac {1}{2}}\log(1-\rho ^{2})$

Взаємна інформація для дискретних даних

Коли X та Y обмежено перебуванням у дискретному числі станів, то дані спостережень підсумовуються до таблиці спряженості зі змінною рядків X (або i) та змінною стовпців Y (або j). Взаємна інформація є однією з мір асоційовності або кореляції між змінними рядків і стовпців. Інші міри асоційовності включають статистики критерію хі-квадрат Пірсона, статистики G-критерію тощо. Фактично, взаємна інформація дорівнює статистиці G-критерію, поділеній на 2N, де N є розміром вибірки.

В особливому випадку, коли числом станів для змінних як рядків, так і стовпців є 2 (i,j=1,2), числом ступенів свободи критерію хі-квадрат Пірсона є 1. З чотирьох доданків суми

$\sum _{i,j}p_{ij}\log {\frac {p_{ij}}{p_{i}p_{j}}}$

незалежним є лише один. Це є причиною того, що функція взаємної інформації має точний зв'язок з кореляційною функцією $p_{X=1,Y=1}-p_{X=1}p_{Y=1}$для двійкових послідовностей.

Застосування взаємної інформації

В багатьох застосуваннях потрібно максимізувати взаємну інформацію (тим самим збільшуючи взаємозалежність), що часто рівнозначне мінімізації умовної ентропії. До прикладів належать:

• У технології пошукових рушіїв взаємна інформація між фразами та контекстами використовується як ознака для кластерування методом k-середніх для виявлення семантичних кластерів (понять).
• У телекомунікаціях пропускна спроможність каналу дорівнює взаємній інформації, максимізованій над усіма вхідними розподілами.
• Було запропоновано процедури розрізнювального навчання для прихованих марковських моделей на основі критерію максимальної взаємної інформації (англ. maximum mutual information, MMI).
• Передбачування вторинної структури РНК з множинного вирівнювання послідовностей.
• Передбачування філогенетичного профілювання з попарної присутності або відсутності функціонально пов'язаних генів.
• Взаємна інформація застосовувалася у машинному навчанні як критерій для вибору ознак та перетворень ознак. Її можна застосовувати для характеризування як доречності, так і надлишковості змінних, як у виборі ознак за мінімальною надлишковістю.
• Взаємна інформація використовується у визначенні подібності двох різних кластерувань набору даних. Як така, вона пропонує деякі переваги над традиційним індексом Ренда.
• Взаємна інформація слів часто використовується як функція значущості для обчислення колокації в корпусній лінгвістиці. Це має додаткову складність в тому, що жоден випадок слова не є випадком для двох різних слів; швидше, рахують випадки, в яких 2 слова трапляються суміжно або в безпосередній близькості; це дещо ускладнює розрахунок, оскільки очікувана ймовірність трапляння одного слова в межах N слів від іншого росте з N.
• Взаємна інформація застосовується в медичній візуалізації для зіставлення зображень. Для заданого еталонного зображення (наприклад, результату сканування мозку) та другого зображення, яке потрібно покласти до тієї ж системи координат, що й еталонне зображення, це зображення деформується доти, доки взаємну інформацію між ним та еталонним зображенням не буде максимізовано.
• Виявлення фазової синхронізації в аналізі часових рядів.
• Метод інформакс для нейронних мереж та іншого машинного навчання, включно з алгоритмом методу незалежних компонент на основі інфомаксу.
• В теоремі про вкладення із затримками взаємна інформація використовується для визначення параметру вкладальної затримки.
• Взаємна інформація між генами в даних експресійних мікрочіпів використовується алгоритмом ARACNE для відбудови генних мереж.
• В термінах взаємної інформації може бути виражено парадокс Лошмідта у статистичній механіці. Лошмідт зазначив, що може бути неможливим визначити фізичний закон, позбавлений зворотності (наприклад, другий закон термодинаміки), лише з таких фізичних законів, які цю зворотність мають. Він вказав, що в Η-теоремі Больцмана було зроблено припущення, що швидкості частинок в газі були постійно некорельованими, що усунуло природну зворотність в ній. Може бути показано, що якщо систему описано густиною ймовірності у фазовому просторі, то з теореми Ліувілля випливає, що спільна інформація (від'ємна спільна ентропія) розподілу залишається сталою в часі. Спільна інформація дорівнює взаємній інформації плюс сума всіх відособлених інформацій (від'ємних відособлених ентропій) для координат кожної з частинок. Припущення Больцмана рівнозначне ігноруванню взаємної інформації в обчисленні ентропії, що дає в результаті термодинамічну ентропію (ділену на сталу Больцмана).
• Взаємна інформація використовується для навчання структури баєсових мереж/динамічних баєсових мереж, які пояснюють причинно-наслідковий зв'язок між випадковими величинами, прикладом чого може слугувати інструментарій GlobalMIT навчання глобально оптимальної динамічної баєсової мережі з критерієм взаємної інформації (англ. Mutual Information Test, MIT).[http://www.mathworks.com/matlabcentral/fileexchange/32428-globalmit-toolbox]
• Популярна функція витрат у навчанні дерев рішень.

Див. також

• Поточкова взаємна інформація
• Квантова взаємна інформація

Джерела

• Cilibrasi, R.; Vitányi, Paul (2005). Clustering by compression (PDF). IEEE Transactions on Information Theory. 51 (4): 1523—1545. doi:10.1109/TIT.2005.844059. (англ.)
• Cronbach, L. J. (1954). On the non-rational application of information measures in psychology. У Quastler, Henry (ред.). Information Theory in Psychology: Problems and Methods. Glencoe, Illinois: Free Press. с. 14—30. (англ.)
• Coombs, C. H.; Dawes, R. M.; Tversky, A. (1970). Mathematical Psychology: An Elementary Introduction. Englewood Cliffs, New Jersey: Prentice-Hall. (англ.)
• Church, Kenneth Ward; Hanks, Patrick (1989). Word association norms, mutual information, and lexicography. Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics. doi:10.1145/90000/89095 (неактивний 2016-01-30).{{cite journal}}: Обслуговування CS1: Сторінки із неактивним DOI станом на січень 2016 (посилання) (англ.)
• Гельфанд, И. М.; Яглом, А. М. (1957). О вычислении количества информации о случайной функции, содержащейся в другой такой функции. Успехи математических наук. 12 (1(73)): 3—52. (рос.)
• Guiasu, Silviu (1977). Information Theory with Applications. McGraw-Hill, New York. ISBN 978-0-07-025109-0. (англ.)
• Li, Ming; Vitányi, Paul (February 1997). An introduction to Kolmogorov complexity and its applications. New York: Springer-Verlag. ISBN 0-387-94868-6. (англ.)
• Lockhead, G. R. (1970). Identification and the form of multidimensional discrimination space. Journal of Experimental Psychology. 85 (1): 1—10. doi:10.1037/h0029508. PMID 5458322. (англ.)
• David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1 (available free online) (англ.)
• Haghighat, M. B. A.; Aghagolzadeh, A.; Seyedarabi, H. (2011). A non-reference image fusion metric based on mutual information of image features. Computers & Electrical Engineering. 37 (5): 744—756. doi:10.1016/j.compeleceng.2011.07.012. (англ.)
• Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.) (англ.)
• Witten, Ian H. & Frank, Eibe (2005). Data Mining: Practical Machine Learning Tools and Techniques. Morgan Kaufmann, Amsterdam. ISBN 978-0-12-374856-0. (англ.)
• Peng, H.C., Long, F., and Ding, C. (2005). Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy. IEEE Transactions on Pattern Analysis and Machine Intelligence. 27 (8): 1226—1238. doi:10.1109/tpami.2005.159. PMID 16119262. CS1 maint: Multiple names: authors list (link) (англ.)
• Andre S. Ribeiro; Stuart A. Kauffman; Jason Lloyd-Price; Bjorn Samuelsson; Joshua Socolar (2008). Mutual Information in Random Boolean models of regulatory networks. Physical Review E. 77 (1). arXiv:0707.3642. doi:10.1103/physreve.77.011901. {{cite journal}}: Проігноровано невідомий параметр |last-author-amp= (довідка) (англ.)
• Wells, W.M. III; Viola, P.; Atsumi, H.; Nakajima, S.; Kikinis, R. (1996). Multi-modal volume registration by maximization of mutual information (PDF). Medical Image Analysis. 1 (1): 35—51. doi:10.1016/S1361-8415(01)80004-9. PMID 9873920. (англ.)

Література

• Габидулин, Э. М., Пилипчук, Н. И. Лекции по теории информации. — М.: МФТИ, 2007. — 214 с. — ISBN 5-7417-0197-3 (рос.)