Логарифмічна ймовірність

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку

Логарифмічна ймовірність (англ. log probability) в теорії ймовірностей та інформатиці, це просто логарифм імовірності[1]. Його використання означає представлення ймовірності в логаритмічній шкалі , замість звичайного одиничного інтервалу .

Так як ймовірності незалежних подій перемножуються, а логарифми перетворюють множення на додавання, логарифмічні ймовірності незалежних подій додаються. Через це вони доволі зручні для обчислень, і мають інтуїтивне представлення в теорії інформації: від'ємне значення середньої логарифмічної ймовірності, є інформаційною ентропією події. Подібно, функція правдоподібності перетворюються в логарифмічний масштаб і логарифмічну правдоподібність можна інтерпретувати як міру до якої подія підтримує статистичну модель. Логарифм ймовірності часто застосовується в задачах обробки природньої мови.

Переваги

[ред. | ред. код]

Представлення ймовірності в цьому форматі має кілька практичних переваг:

  1. Швидкість. Множення обчислювально дорожче ніж додавання, тому отримання ймовірності багатьох подій часто швидше, якщо вони представлені в логарифмічній формі. (Саме логарифмічне перетворення складне, але виконується лише раз)
  2. Точність. Використання логарифмів покращує числову стійкість, коли ймовірності дуже малі, через формат задання чисел в комп'ютері[1].
  3. Простота. Багато розподілів ймовірностей мають експоненційну форму. Якщо взяти логарифм цих розподілів, експоненційна функція пропадає. Наприклад, логарифм густини ймовірності нормального розподілу це замість .

Проблеми з представленням

[ред. | ред. код]

Функція логарифму не визначена для нуля, тому логарифмічні ймовірності не можуть задавати неможливі події.

Основні операції

[ред. | ред. код]

Позначимо логарифмічні ймовірності штрихом:

Добуток ймовірностей відповідає додаванню в логарифмічному просторі.


Додавання

[ред. | ред. код]

Формула вище є точнішою за , особливо якщо скористатися асиметрією. Як краще використати більше (менш негативне) значення. Правильно обране також дає коректні значення, якщо один з аргументів - -INF, що відповідає нульовій ймовірності.

. Це значення невизначене, і дасть NaN.
. Це правильне значення.

Використання тільки цієї формули даватиме невизначені результати якщо обидва аргументи дорівнюють . Цей випадок треба розглядати окремо і повертати .

Також, для обчислення краще використовувати спеціалізовану функцію log1p[2].

Див. також

[ред. | ред. код]

Зноски

[ред. | ред. код]
  1. а б Piech, Chris. Probability for Computer scientists - Log probabilities. Процитовано 20 липня 2023.
  2. https://numpy.org/doc/stable/reference/generated/numpy.log1p.html