Інформація за Фішером

У математичній статистиці і теорії інформації інформацією за Фішером називається дисперсія функції внеску вибірки. Ця функція названа на честь Рональда Фішера, що описав її.

Визначення [ред.]

Нехай $f(\theta,\;x_1,\dots,\,x_n)$ — щільність розподілу для даної статистичної моделі $\xi_1, \dots, \xi_n$ . Тоді якщо визначена функція: $I_n(\theta) = \mathbb{D}_\theta \left(\frac{\partial L(\theta,\;\xi_1,\dots,\,\xi_n)}{\partial \theta}\right) = \mathbb{E}_\theta \left(\frac{\partial L(\theta,\;\xi_1,\dots,\,\xi_n)}{\partial \theta}\right)^2,\; L(x_1, \dots, x_n)=\sum_{i=1}^n\ln f(\theta, x_i)\!$ ,

де $L(\theta,\;x_1,\dots,\,x_n)$ — логарифмічна функція правдоподібності, а $\mathbb{E}_\theta\!$ — математичне сподівання при даному $\theta\!$ , то вона називаеться інформацією за Фішером для даної статистичної моделі при $n\!$ незалежних випробуваннях. Для регулярних моделей: $\mathbb{E}_\theta \left(\frac{\partial L(\theta,\;\xi_1,\dots,\,\xi_n)}{\partial \theta}\right) = 0\!$ (У цьому і полягає означення регулярності).

В цьому випадку, оскільки математичне сподівання функції внеску вибірки рівне нулю, виписана величина, рівна її дисперсії.

Кількістю інформації за Фішером, що міститься в одному спостереженні, називають:

$I_i(\theta) = \mathbb{E}_\theta \left(\frac{\partial \ln f(\theta,\,\xi_i)}{\partial \theta}\right)^2\!$ .

Для регулярних моделей всі $I_i(\theta)\!$ рівні між собою.

Якщо вибірка складається з одного елементу, то інформація за Фішером записується так:

$I(\theta) = \mathbb{E}_\theta \left(\frac{\partial \ln f(\theta,\,\xi)}{\partial \theta}\right)^2\!$ .

З умови регулярності, а також з того, що у разі незалежності випадкових величин дисперсія суми рівна сумі дисперсій, витікає, що для $n\!$ незалежних випробувань $I_n(\theta) = nI(\theta)\!$ .

Властивості [ред.]

З вказаної вище властивості дисперсій виходить, що у разі незалежності випадкових величин $\xi_1(\theta,\,x),\dots,\,\xi_n(\theta,\,x)\!$ (що розглядаються в одній статистичній моделі) інформація за Фішером їхньої суми дорівнює сумі інформацій за Фішером кожної з них.
Позначимо інформацію за Фішером для випадкової величини $\xi(\theta,\,x)\!$ через $I^\xi(\theta)\!$ . Якщо $T(\xi)\!$ — статистика, для якої визначена інформація за Фішером, то $I^{T(\xi)}\leqslant I^\xi\!$ .