Перехресна ентропія

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку

У теорії інформації перехресна ентропія між двома розподілами ймовірності та над спільним простором подій вимірює середню кількість біт, необхідних для впізнання події з простору подій, якщо схема кодування, що використовується, базується на розподілі ймовірностей , замість «істинного» розподілу .

Визначення[ред. | ред. код]

Перехресна ентропія двох розподілів і на тому самому ймовірнісному просторі визначається наступним чином:

.

Вираз можна переформулювати за допомогою  — дивергенції Кульбака — Лейблера від до (також відома як відносна ентропія відносно )

,

де  — ентропія .

Для дискретного випадку і над одним і тим же носієм[en] це значить

 

 

 

 

(Рів. 1)

Для неперервного розподілу аналогічно:

 

 

 

 

(Рів. 2)

NB: Запис іноді використовується як для перехресної ентропії, так і для спільної ентропії і .

Мінімізація перехресної ентропії[ред. | ред. код]

Мінімізація перехресної ентропії часто використовується під час оптимізації та для оцінки імовірностей рідкісних випадків.

Див. також[ред. | ред. код]