Відмінності між версіями «Перехресна ентропія»

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку
[перевірена версія][перевірена версія]
(оформлення, доповнення, уточнення)
(→‎Визначення: оформлення)
Рядок 9: Рядок 9:
 
: <math>\mathrm{H}(p, q) = \mathrm{E}_p[-\log q]</math>.
 
: <math>\mathrm{H}(p, q) = \mathrm{E}_p[-\log q]</math>.
   
Вираз можна переформулювати за допомогою <math>D_{\mathrm{KL}}(p || q)</math>&nbsp;— [[Розходження Кульбака — Лейблера|дивергенції Кульбака&nbsp;— Лейблера]] від <math>q</math> до <math>p</math> (також відома як ''відносна ентропія'' <math>p</math> відносно <math>q</math>)
+
Вираз можна переформулювати за допомогою <math>D_{\mathrm{KL}}(p || q)</math>&nbsp;— [[Розходження Кульбака — Лейблера|дивергенції Кульбака&nbsp;— Лейблера]] від <math>q</math> до <math>p</math> (також відома як ''відносна ентропія'' <math>p</math> відносно <math>q</math>)
 
: <math>\mathrm{H}(p, q) = \mathrm{H}(p) + D_{\mathrm{KL}}(p \| q)\!</math>,
 
: <math>\mathrm{H}(p, q) = \mathrm{H}(p) + D_{\mathrm{KL}}(p \| q)\!</math>,
   
 
де <math>H(p)</math>&nbsp;— [[ентропія]] <math>p</math>.
 
де <math>H(p)</math>&nbsp;— [[ентропія]] <math>p</math>.
   
Для [[Випадкова_величина#Дискретна_випадкова_величина|дискретного]] випадку <math>p</math> і <math>q</math> над одним і тим же носієм <math>\mathcal{X}</math> це значить
+
Для [[Випадкова_величина#Дискретна_випадкова_величина|дискретного]] випадку <math>p</math> і <math>q</math> над одним і тим же {{Нп|Носій міри|носієм||Support (measure theory)}} <math>\mathcal{X}</math> це значить
   
 
{{Equation box 1
 
{{Equation box 1

Версія за 09:55, 14 червня 2019

У теорії інформації перехресна ентропія між двома розподілами ймовірності та над спільним простором подій вимірює середню кількість біт, необхідних для впізнання події з простору подій, якщо схема кодування, що використовується, базується на розподілі ймовірностей , замість «істинного» розподілу .

Визначення

Перехресна ентропія двох розподілів і на тому самому ймовірнісному просторі визначається наступним чином:

.

Вираз можна переформулювати за допомогою  — дивергенції Кульбака — Лейблера від до (також відома як відносна ентропія відносно )

,

де  — ентропія .

Для дискретного випадку і над одним і тим же носієм[en] це значить

 

 

 

 

(Рів. 1)

Для неперервного розподілу аналогічно:

 

 

 

 

(Рів. 2)

NB: Запис іноді використовується як для перехресної ентропії, так і для спільної ентропії і .

Мінімізація перехресної ентропії

Мінімізація перехресної ентропії часто використовується під час оптимізації та для оцінки імовірностей рідкісних випадків.

Див. також