Діаграма Венна , що показує адитивні та різницеві відношення серед різних мір інформації , пов'язаних із корельованими змінними
X
{\displaystyle X}
Y
{\displaystyle Y}
спільною ентропією
H
(
X
,
Y
)
{\displaystyle \mathrm {H} (X,Y)}
особистою ентропією
H
(
X
)
{\displaystyle \mathrm {H} (X)}
умовною ентропією
H
(
X
|
Y
)
{\displaystyle \mathrm {H} (X|Y)}
H
(
Y
)
{\displaystyle \mathrm {H} (Y)}
H
(
Y
|
X
)
{\displaystyle \mathrm {H} (Y|X)}
взаємною інформацією
I
(
X
;
Y
)
{\displaystyle \operatorname {I} (X;Y)}
В теорії інформації умо́вна ентропі́я (або ухи́льність , англ. conditional entropy, equivocation ) — це оцінка кількості інформації, необхідної, щоб описати вихід випадкової змінної
Y
{\displaystyle Y}
X
{\displaystyle X}
шеннонах , натах або гартлі . Ентропія
Y
{\displaystyle Y}
X
{\displaystyle X}
записується як
H
(
Y
|
X
)
{\displaystyle \mathrm {H} (Y|X)}
Нехай
H
(
Y
|
X
=
x
)
{\displaystyle \mathrm {H} (Y|X=x)}
ентропією дискретної випадкової змінної
Y
{\displaystyle Y}
X
{\displaystyle X}
x
{\displaystyle x}
Y
{\displaystyle Y}
функцію маси ймовірності
p
Y
(
y
)
{\displaystyle p_{Y}{(y)}}
Y
{\displaystyle Y}
H
(
Y
)
:=
E
[
I
(
Y
)
]
{\displaystyle \mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]}
H
(
Y
)
=
∑
i
=
1
n
P
r
(
Y
=
y
i
)
I
(
y
i
)
=
−
∑
i
=
1
n
p
Y
(
y
i
)
log
2
p
Y
(
y
i
)
,
{\displaystyle \mathrm {H} (Y)=\sum _{i=1}^{n}{\mathrm {Pr} (Y=y_{i})\,\mathrm {I} (y_{i})}=-\sum _{i=1}^{n}{p_{Y}(y_{i})\log _{2}{p_{Y}(y_{i})}},}
де
I
(
y
i
)
{\displaystyle \operatorname {I} (y_{i})}
інформаційним вмістом набування результатом [en]
Y
{\displaystyle Y}
y
i
{\displaystyle y_{i}}
Y
{\displaystyle Y}
X
{\displaystyle X}
x
{\displaystyle x}
умовного математичного сподівання :
H
(
Y
|
X
=
x
)
=
E
[
I
(
Y
)
|
X
=
x
]
=
−
∑
i
=
1
n
Pr
(
Y
=
y
i
|
X
=
x
)
log
2
Pr
(
Y
=
y
i
|
X
=
x
)
.
{\displaystyle \mathrm {H} (Y|X=x)=\mathbb {E} [\operatorname {I} (Y)|X=x]=-\sum _{i=1}^{n}{\Pr(Y=y_{i}|X=x)\log _{2}{\Pr(Y=y_{i}|X=x)}}.}
H
(
Y
|
X
)
{\displaystyle \mathrm {H} (Y|X)}
H
(
Y
|
X
=
x
)
{\displaystyle \mathrm {H} (Y|X=x)}
x
{\displaystyle x}
X
{\displaystyle X}
Для заданих дискретних випадкових змінних
X
{\displaystyle X}
носієм
X
{\displaystyle {\mathcal {X}}}
Y
{\displaystyle Y}
Y
{\displaystyle {\mathcal {Y}}}
Y
{\displaystyle Y}
X
{\displaystyle X}
H
(
Y
|
X
=
x
)
{\displaystyle \mathrm {H} (Y|X=x)}
x
{\displaystyle x}
p
(
x
)
{\displaystyle p(x)}
[1] :15
H
(
Y
|
X
)
≡
∑
x
∈
X
p
(
x
)
H
(
Y
|
X
=
x
)
=
−
∑
x
∈
X
p
(
x
)
∑
y
∈
Y
p
(
y
|
x
)
log
p
(
y
|
x
)
=
−
∑
x
∈
X
∑
y
∈
Y
p
(
x
,
y
)
log
p
(
y
|
x
)
=
−
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
p
(
y
|
x
)
=
−
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
p
(
x
,
y
)
p
(
x
)
.
=
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
p
(
x
)
p
(
x
,
y
)
.
{\displaystyle {\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}}}
Примітка: Зрозуміло, що вирази
0
log
0
{\displaystyle 0\log 0}
0
log
c
/
0
{\displaystyle 0\log c/0}
c
>
0
{\displaystyle c>0}
Нульова умовна ентропія [ ред. | ред. код ]
H
(
Y
|
X
)
=
0
{\displaystyle \mathrm {H} (Y|X)=0}
Y
{\displaystyle Y}
X
{\displaystyle X}
Умовна ентропія незалежних випадкових змінних [ ред. | ред. код ] І навпаки,
H
(
Y
|
X
)
=
H
(
Y
)
{\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}
Y
{\displaystyle Y}
X
{\displaystyle X}
незалежними випадковими змінними .
Припустімо, що об'єднана система, яку визначають дві випадкові змінні
X
{\displaystyle X}
Y
{\displaystyle Y}
спільну ентропію
H
(
X
,
Y
)
{\displaystyle \mathrm {H} (X,Y)}
H
(
X
,
Y
)
{\displaystyle \mathrm {H} (X,Y)}
X
{\displaystyle X}
H
(
X
)
{\displaystyle \mathrm {H} (X)}
X
{\displaystyle X}
H
(
X
,
Y
)
−
H
(
X
)
{\displaystyle \mathrm {H} (X,Y)-\mathrm {H} (X)}
H
(
Y
|
X
)
{\displaystyle \mathrm {H} (Y|X)}
ланцюгове правило умовної ентропії:
H
(
Y
|
X
)
=
H
(
X
,
Y
)
−
H
(
X
)
.
{\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).}
[1] :17 Ланцюгове правило випливає з вищенаведеного означення умовної ентропії:
H
(
Y
|
X
)
=
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
(
p
(
x
)
p
(
x
,
y
)
)
=
−
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
(
p
(
x
,
y
)
)
+
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
(
p
(
x
)
)
=
H
(
X
,
Y
)
+
∑
x
∈
X
p
(
x
)
log
(
p
(
x
)
)
=
H
(
X
,
Y
)
−
H
(
X
)
.
{\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}}
В загальному випадку ланцюгове правило для декількох випадкових змінних стверджує, що
H
(
X
1
,
X
2
,
…
,
X
n
)
=
∑
i
=
1
n
H
(
X
i
|
X
1
,
…
,
X
i
−
1
)
{\displaystyle \mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})}
[1] :22 Воно має вигляд, подібний до ланцюгового правила в теорії ймовірностей, за винятком того, що замість множення використовується додавання.
Правило Баєса для умовної ентропії стверджує, що
H
(
Y
|
X
)
=
H
(
X
|
Y
)
−
H
(
X
)
+
H
(
Y
)
.
{\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}
Доведення.
H
(
Y
|
X
)
=
H
(
X
,
Y
)
−
H
(
X
)
{\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)}
H
(
X
|
Y
)
=
H
(
Y
,
X
)
−
H
(
Y
)
{\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)}
H
(
X
,
Y
)
=
H
(
Y
,
X
)
{\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (Y,X)}
Якщо
Y
{\displaystyle Y}
умовно незалежною [en]
Z
{\displaystyle Z}
X
{\displaystyle X}
H
(
Y
|
X
,
Z
)
=
H
(
Y
|
X
)
.
{\displaystyle \mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).}
Для будь-яких
X
{\displaystyle X}
Y
{\displaystyle Y}
H
(
Y
|
X
)
≤
H
(
Y
)
H
(
X
,
Y
)
=
H
(
X
|
Y
)
+
H
(
Y
|
X
)
+
I
(
X
;
Y
)
,
H
(
X
,
Y
)
=
H
(
X
)
+
H
(
Y
)
−
I
(
X
;
Y
)
,
I
(
X
;
Y
)
≤
H
(
X
)
,
{\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}}
де
I
(
X
;
Y
)
{\displaystyle \operatorname {I} (X;Y)}
взаємною інформацією
X
{\displaystyle X}
Y
{\displaystyle Y}
Для незалежних
X
{\displaystyle X}
Y
{\displaystyle Y}
H
(
Y
|
X
)
=
H
(
Y
)
{\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}
H
(
X
|
Y
)
=
H
(
X
)
{\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X)\,}
Хоча конкретно-умовна ентропія
H
(
X
|
Y
=
y
)
{\displaystyle \mathrm {H} (X|Y=y)}
H
(
X
)
{\displaystyle \mathrm {H} (X)}
випадкової варіати [en]
y
{\displaystyle y}
Y
{\displaystyle Y}
H
(
X
|
Y
)
{\displaystyle \mathrm {H} (X|Y)}
H
(
X
)
{\displaystyle \mathrm {H} (X)}
Умовна диференціальна ентропія [ ред. | ред. код ] Наведене вище означення є для дискретних випадкових змінних, але в випадку неперервних випадкових змінних воно чинним не є. Неперервну версію дискретної умовної ентропії називають умовною диференціальною (або неперервною) ентропією (англ. conditional differential (continuous) entropy ). Нехай
X
{\displaystyle X}
Y
{\displaystyle Y}
функцією густини спільної ймовірності [en]
f
(
x
,
y
)
{\displaystyle f(x,y)}
h
(
X
|
Y
)
{\displaystyle h(X|Y)}
h
(
X
|
Y
)
=
−
∫
X
,
Y
f
(
x
,
y
)
log
f
(
x
|
y
)
d
x
d
y
{\displaystyle h(X|Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x|y)\,dxdy}
[1] :249 На противагу до умовної ентропії дискретних випадкових змінних, умовна диференціальна ентропія може бути від'ємною.
Як і в дискретному випадку, для диференціальної ентропії існує ланцюгове правило:
h
(
Y
|
X
)
=
h
(
X
,
Y
)
−
h
(
X
)
{\displaystyle h(Y|X)\,=\,h(X,Y)-h(X)}
[1] :253 Зауважте, проте, що це правило може не виконуватися, якщо залучені диференціальні ентропії не існують, або є нескінченними.
Спільну диференціальну ентропію також використано в означенні взаємної інформації між неперервними випадковими змінними:
I
(
X
,
Y
)
=
h
(
X
)
−
h
(
X
|
Y
)
=
h
(
Y
)
−
h
(
Y
|
X
)
{\displaystyle \operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)}
h
(
X
|
Y
)
≤
h
(
X
)
{\displaystyle h(X|Y)\leq h(X)}
X
{\displaystyle X}
Y
{\displaystyle Y}
[1] :253
Стосунок до похибки оцінювача [ ред. | ред. код ] Умовна диференціальна ентропія дає нижню межу математичного сподівання квадратичної похибки оцінювача . Для будь-якої випадкової змінної
X
{\displaystyle X}
Y
{\displaystyle Y}
X
^
{\displaystyle {\widehat {X}}}
[1] :255
E
[
(
X
−
X
^
(
Y
)
)
2
]
≥
1
2
π
e
e
2
h
(
X
|
Y
)
{\displaystyle \mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}}
Це стосується принципу невизначеності в квантовій механіці .
Узагальнення до квантової теорії [ ред. | ред. код ] У квантовій теорії інформації умовна ентропія узагальнюється до умовної квантової ентропії [en]
![{\displaystyle \mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f114631caeb95e508a74994486e35e972220b378)
![{\displaystyle \mathrm {H} (Y|X=x)=\mathbb {E} [\operatorname {I} (Y)|X=x]=-\sum _{i=1}^{n}{\Pr(Y=y_{i}|X=x)\log _{2}{\Pr(Y=y_{i}|X=x)}}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/bcac23d77dcc6a01cc367830184893bd13eda9f9)
![{\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2baddbd85be799629ae27dd729e3b067363aac06)
![{\displaystyle \mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ab916a1ac9b14193bf90b79742772b686bb771c3)