Інформація за Фішером

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

У математичній статистиці та теорії інформації інформацією за Фішером називається міра кількості інформації, що спостережувана випадкова змінна X несе про невідомий параметр θ, від якого залежить ймовірність X. Формально це дисперсія функції внеску вибірки. Ця функція названа на честь Рональда Фішера, що описав її.

Визначення[ред.ред. код]

Нехай f(\theta,\;x_1,\dots,\,x_n) — густина розподілу для даної статистичної моделі \xi_1, \dots, \xi_n. Тоді якщо визначена функція: I_n(\theta) 
= \mathbb{D}_\theta \left(\frac{\partial L(\theta,\;\xi_1,\dots,\,\xi_n)}{\partial \theta}\right)
= \mathbb{E}_\theta \left(\frac{\partial L(\theta,\;\xi_1,\dots,\,\xi_n)}{\partial \theta}\right)^2,\;
L(x_1, \dots, x_n)=\sum_{i=1}^n\ln f(\theta, x_i)\!,

де L(\theta,\;x_1,\dots,\,x_n) — логарифмічна функція правдоподібності, а \mathbb{E}_\theta\! — математичне сподівання за заданого \theta\!, то вона називаеться інформацією за Фішером для даної статистичної моделі при n\! незалежних випробуваннях. Для регулярних моделей: \mathbb{E}_\theta \left(\frac{\partial L(\theta,\;\xi_1,\dots,\,\xi_n)}{\partial \theta}\right) = 0\! (У цьому і полягає означення регулярності).

На разі, виписана величина дорівнює її дисперсії, позаяк математичне сподівання функції внеску вибірки рівне нулю,.

Кількістю інформації за Фішером, що міститься в одному спостереженні, називають:

I_i(\theta) = \mathbb{E}_\theta \left(\frac{\partial \ln f(\theta,\,\xi_i)}{\partial \theta}\right)^2\!.

Для регулярних моделей всі I_i(\theta)\! рівні між собою.

Якщо вибірка складається з одного елементу, то інформація за Фішером записується так:

I(\theta) = \mathbb{E}_\theta \left(\frac{\partial \ln f(\theta,\,\xi)}{\partial \theta}\right)^2\!.

З умови регулярності, а також з того, що у разі незалежності випадкових величин дисперсія суми дорівнює сумі дисперсій, випливає, що для n\! незалежних випробувань I_n(\theta) = nI(\theta)\!.

Властивості[ред.ред. код]

  • З вказаної вище властивості дисперсій виходить, що у разі незалежності випадкових величин \xi_1(\theta,\,x),\dots,\,\xi_n(\theta,\,x)\! (що розглядаються в одній статистичній моделі) інформація за Фішером їхньої суми дорівнює сумі інформацій за Фішером кожної з них.
  • Позначимо інформацію за Фішером для випадкової величини \xi(\theta,\,x)\! через I^\xi(\theta)\!. Якщо T(\xi)\! — статистика, для якої визначена інформація за Фішером, то I^{T(\xi)}\leqslant I^\xi\!.

Див. також[ред.ред. код]


Статистика Це незавершена стаття із статистики.
Ви можете допомогти проекту, виправивши або дописавши її.