Відстань Кульбака — Лейблера

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Відстань Кульбака — Лейблера в теорії інформації і математичній статистиці — це міра того, наскільки відмінні між собою два ймовірнісних розподіли. Названа на честь американських математиків і криптоаналітиків Соломона Кульбака і Річарда Лейблера.

Визначення[ред.ред. код]

Дискретний розподіл[ред.ред. код]

Нехай дано дві дискретні випадкові величини , визначені на множині , розподілами задаються функціями ймовірності і відповідно. Тоді відстань Кульбака — Лейблера задається формулою:

Відстань Кульбака — Лейблера для цього випадку визначена лише тоді коли з p(x) > 0 випливає, що також і q(x) > 0.

Абсолютно неперервний розподіл[ред.ред. код]

Нехай дано дві абсолютно неперервні випадкові величини , і їх розподіли задаються густинами ймовірності і відповідно. Тоді відстань Кульбака — Лейблера задається формулою:

Більш загально, якщо P і Q — ймовірнісні міри на множині X, і Q є абсолютно неперервною щодо P, тоді відстань Кульбака — Лейблера визначається як:

де є похідною Радона — Нікодима міри Q щодо міри P.

Властивості[ред.ред. код]

  • Відстань Кульбака - Лейблера, взагалі кажучи, не симетрична, тобто
.

Зокрема, воно не є метрикою на просторі розподілів ймовірностей.