Функція правдоподібності

Функція правдоподібності у математичній статистиці — це сумісний розподіл вибірки з параметричного розподілу як функція параметра. Функція правдоподібності ґрунтується на умовній вірогідності взяттям її як функції від другого аргументу при фіксації першого. Наприклад, модель, в якій щільність вірогідності випадкової величини $X$ залежить від параметра $\theta$. Тоді для деякого конкретного значення $x$ випадкової величини $X$ функція $L(\theta | x)=P(X=x | \theta)$ і є функція правдоподібності $\theta$, що визначає наскільки правдоподібне кожне конкретне значення параметра $\theta$ за умови, що нам відоме значення $x$ величини $X$. Дві функції правдоподібності є рівними, якщо одна є добутком іншої на деяку скалярну величин

Визначення

Нехай є параметрична сім'я розподілів ймовірності $\{\mathbb{P}_{\theta}\}_{\theta \in \Theta}$. Нехай дана вибірка $X_1,\ldots, X_n \sim \mathbb{P}_{\theta}$ для деякого $\theta \in \Theta$. Припустимо, що сумісний розподіл цієї вибірки задається функцією $f_{\mathbf{X}}(\mathbf{x} \mid \theta ),\; \mathbf{x}\in \mathbb{R}^n$, де $f$ є або щільністю ймовірності, або функцією ймовірності випадкового вектора $\mathbf{X} = (X_1,\ldots, X_n)^{\top}$.

Для фіксованої реалізації вибірки $\mathbf{X} = \mathbf{x}$ функція $f_{\mathbf{X}}(\mathbf{x}, \cdot ): \Theta \to \mathbb{R}$ називається функцією правдоподібності.

Зауваження

• Функція $L(\mathbf{x} \mid \theta )$, де

$L(\mathbf{x} \mid \theta ) = \ln f_{\mathbf{X}}(\mathbf{x} \mid \theta )$,

називається логарифмічною функцією правдоподібності.

• Якщо вибірка незалежна, то

$f_{\mathbf{X}}(\mathbf{x} \mid \theta ) = \prod\limits_{i=1}^n f_X(x_i \mid \theta)$,

де $f_X(\cdot \mid \theta )$ — щільність або функція ймовірності розподілу $\mathbb{P}_{\theta}$. Логарифмічна функція правдоподібності в цьому випадку має вигляд:

$L(\mathbf{x} \mid \theta ) = \sum\limits_{i=1}^n \ln f_X(x_i \mid \theta )$.

• Функція правдоподібності вимірює ступінь ймовірності появи реалізації вибірки $\mathbf{x}$ з розподілу $\mathbb{P}_{\theta}$.

Історія

Вперше правдоподібність була згадана в книзі Торвальда Тіле, опублікованої у 1889 році.

Повний опис ідеї правдоподібності вперше був даний Рональдом Фішером у 1922 році в роботі «Математичні основи теоретичної статистики». У цій роботі Фішер також використовує термін метод максимальної вірогідності. Фішер заперечує проти використання зворотної вірогідності як основи статистичних висновків і пропонує замість неї використовувати функцію правдоподібності.

Див. також

• Метод максимальної вірогідності.