Взаємна інформація

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Взаємна інформація — статистична функція двох випадкових величин, що описує кількість інформації, яка міститься в одній випадковій величині відносно іншої.

Взаємна інформація визначається через ентропію та умовну ентропію двох випадкових величин як

I\left( {X;Y} \right) = H\left( X \right) - H\left( {X|Y} \right) = H\left( X \right) + H\left( Y \right) - H\left( {X,Y} \right)

Властивості взаємної інформації[ред.ред. код]

  • Взаємна інформація є симетричною функцією випадкових величин:
I\left( {X;Y} \right) = I\left( {Y;X} \right)
0 \le I\left( {X;Y} \right) \le \min \left[ H\left( X \right), H\left( Y \right) \right]

Зокрема, для незалежних випадкових величин взаємна інформація дорівнює нулю:

 I\left( {X;Y} \right) = H \left( X \right) - H \left( X | Y \right) = H \left( X \right) - H \left( X \right) = 0

У випадку, коли одна випадкова величина (наприклад, X) є визначеною функцією іншої випадкової величини (Y), взаємна інформація дорівнює ентропії:

 I\left( {X;Y} \right) = H \left( X \right) - H \left( X | Y \right) = H \left( X \right) - 0 = H \left( X \right)

Умовна і безумовна взаємна інформація[ред.ред. код]

Умовна взаємна інформація — статистична функція трьох випадкових величин, що описує кількість інформації, яка міститься в одній випадковій величині відносно іншої, за умови заданого значення третьої величини:

I\left( {X;Y|Z = z} \right) = H\left( {X|Z = z} \right) - H\left( {X|Y,Z = z} \right)

Безумовна взаємна інформація — статистична функція трьох випадкових величин, що описує кількість інформації, що міститься в одній випадковій величині по відношенню до іншої, при умові заданої третьої випадкової величини:

I\left( {X;Y|Z} \right) = H\left( {X|Z} \right) - H\left( {X|Y,Z} \right)

Властивості[ред.ред. код]

  • Умовна і безумовна взаємні інформації є симетричними:
I\left( {X;Y | Z } \right) = I\left( {Y;X | Z } \right)
I\left( {X;Y | Z = z} \right) = I\left( {Y;X | Z = z} \right)
  • Задовільняють нерівностям:
0 \le I\left( {X;Y | Z } \right) \le \min \left[ H \left( {X | Z } \right), H \left( {Y | Z } \right) \right]
0 \le I\left( {X;Y | Z = z} \right) \le \min \left[ H \left( {X | Z = z} \right), H \left( {Y | Z = z} \right) \right]

Література[ред.ред. код]

  • Габидулин, Э. М., Пилипчук, Н. И. Лекции по теории информации. — М.: МФТИ, 2007. — 214 с. — ISBN 5-7417-0197-3