Взаємна інформація

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Взаємна інформація — статистична функція двох випадкових величин, що описує кількість інформації, яка міститься в одній випадковій величині відносно іншої.

Взаємна інформація визначається через ентропію та умовну ентропію двох випадкових величин як

Властивості взаємної інформації[ред.ред. код]

  • Взаємна інформація є симетричною функцією випадкових величин:

Зокрема, для незалежних випадкових величин взаємна інформація дорівнює нулю:

У випадку, коли одна випадкова величина (наприклад, ) є визначеною функцією іншої випадкової величини (), взаємна інформація дорівнює ентропії:

Умовна і безумовна взаємна інформація[ред.ред. код]

Умовна взаємна інформація — статистична функція трьох випадкових величин, що описує кількість інформації, яка міститься в одній випадковій величині відносно іншої, за умови заданого значення третьої величини:

Безумовна взаємна інформація — статистична функція трьох випадкових величин, що описує кількість інформації, що міститься в одній випадковій величині по відношенню до іншої, при умові заданої третьої випадкової величини:

Властивості[ред.ред. код]

  • Умовна і безумовна взаємні інформації є симетричними:
  • Задовільняють нерівностям:

Література[ред.ред. код]

  • Габидулин, Э. М., Пилипчук, Н. И. Лекции по теории информации. — М.: МФТИ, 2007. — 214 с. — ISBN 5-7417-0197-3


Сигма Це незавершена стаття з математики.
Ви можете допомогти проекту, виправивши або дописавши її.