Інформація за Фішером

У математичній статистиці та теорії інформації інформацією за Фішером називається міра кількості інформації, що спостережувана випадкова змінна X несе про невідомий параметр θ, від якого залежить ймовірність X. Формально це дисперсія функції внеску вибірки. Ця функція названа на честь Рональда Фішера, що описав її.

Визначення

Нехай $f(\theta ,\;x_{1},\dots ,\,x_{n})$ — густина розподілу для даної статистичної моделі $\xi _{1},\dots ,\xi _{n}$ . Тоді якщо визначена функція: $I_{n}(\theta )=\mathbb {D} _{\theta }\left({\frac {\partial L(\theta ,\;\xi _{1},\dots ,\,\xi _{n})}{\partial \theta }}\right)=\mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;\xi _{1},\dots ,\,\xi _{n})}{\partial \theta }}\right)^{2},\;L(x_{1},\dots ,x_{n})=\sum _{i=1}^{n}\ln f(\theta ,x_{i})\!$ ,

де $L(\theta ,\;x_{1},\dots ,\,x_{n})$ — логарифмічна функція правдоподібності, а $\mathbb {E} _{\theta }\!$ — математичне сподівання за заданого $\theta \!$ , то вона називається інформацією за Фішером для даної статистичної моделі при $n\!$ незалежних випробуваннях. Для регулярних моделей: $\mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;\xi _{1},\dots ,\,\xi _{n})}{\partial \theta }}\right)=0\!$ (У цьому і полягає означення регулярності).

На разі, виписана величина дорівнює її дисперсії, позаяк математичне сподівання функції внеску вибірки рівне нулю,.

Кількістю інформації за Фішером, що міститься в одному спостереженні, називають:

$I_{i}(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,\xi _{i})}{\partial \theta }}\right)^{2}\!$ .

Для регулярних моделей всі $I_{i}(\theta )\!$ рівні між собою.

Якщо вибірка складається з одного елементу, то інформація за Фішером записується так:

$I(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,\xi )}{\partial \theta }}\right)^{2}\!$ .

З умови регулярності, а також з того, що у разі незалежності випадкових величин дисперсія суми дорівнює сумі дисперсій, випливає, що для $n\!$ незалежних випробувань $I_{n}(\theta )=nI(\theta )\!$ .

Властивості

З вказаної вище властивості дисперсій виходить, що у разі незалежності випадкових величин $\xi _{1}(\theta ,\,x),\dots ,\,\xi _{n}(\theta ,\,x)\!$ (що розглядаються в одній статистичній моделі) інформація за Фішером їхньої суми дорівнює сумі інформацій за Фішером кожної з них.
Позначимо інформацію за Фішером для випадкової величини $\xi (\theta ,\,x)\!$ через $I^{\xi }(\theta )\!$ . Якщо $T(\xi )\!$ — статистика, для якої визначена інформація за Фішером, то $I^{T(\xi )}\leqslant I^{\xi }\!$ .