Інформація за Фішером

У математичній статистиці інформа́ція за Фі́шером (англ. Fisher information, іноді звана просто інформа́цією, англ. information) — це спосіб вимірювання кількості інформації, яку спостережувана випадкова величина X несе про невідомий параметр θ розподілу, який моделює X. Формально це дисперсія внеску, або математичне сподівання спостережуваної інформації.

Роль інформації за Фішером в асимптотичній теорії оцінювання максимальною правдоподібністю підкреслив і дослідив статистик сер Рональд Фішер (після деяких початкових результатів Френсіса Ісидро Еджворта). Інформаційну матрицю за Фішером використовують для обчислення коваріаційних матриць, пов'язаних із оцінюванням максимальною правдоподібністю. Також її використовують у формулюванні статистичних критеріїв, як-от тесту Вальда.

У баєсовій статистиці інформація за Фішером відіграє роль у виведенні неінформативних апріорних розподілів за правилом Джеффріса. Вона також з'являється як великови́біркова коваріація апостеріорного розподілу, за умови, що апріорний розподіл є достатньо гладеньким (результат, відомий як теорема Бернштайна — фон Мізеса, передбачена Лапласом для експоненційних сімейств). Той же результат використовують при наближуванні апостеріорного розподілу за допомогою лапласового наближення, де інформація за Фішером виступає як коваріація допасовуваного гауссового розподілу.

Було показано, що статистичні системи наукового характеру (фізичні, біологічні тощо), чиї функції правдоподібності дотримуються інваріантності щодо зміщення, показують максимум інформації за Фішером. Рівень цього максимуму залежить від характеру обмежень системи.

Визначення

Інформація за Фішером — це спосіб вимірювання кількості інформації, яку спостережувана випадкова величина $X$ несе про невідомий параметр $\theta$, від якого залежить імовірність $X$. Нехай $f(X;\theta )$ — функція густини імовірності (або функція маси імовірності) для $X$, обумовлена значенням $\theta$. Вона описує ймовірність спостерігання заданого результату $X$ за умови відомого значення $\theta$. Якщо $f$ дає гострий пік відносно змін $\theta$, то вказати «правильне» значення $\theta$ з даних легко, або, іншими словами, дані $X$ містять багато інформації про параметр $\theta$. Якщо ж $f$ пло́ска й розсіяна, тоді потрібно багато зразків $X$, щоб оцінити справжнє «істинне» значення $\theta$, яке могло би бути отримане з використанням усієї сукупності, з якої роблять вибірку. Це вказує на необхідність вивчення певного виду дисперсії відносно $\theta$.

Формально частинну похідну за $\theta$ натурального логарифму функції правдоподібності називають внеском (англ. score). За певних умов регулярності, якщо $\theta$ — істинний параметр (тобто $X$ справді розподілено як $f(X;\theta )$), можливо показати, що математичне сподівання (перший момент) внеску, обчислене за істинного значення параметра $\theta$, дорівнює 0:

${\begin{aligned}\operatorname {E} \left[\left.{\frac {\partial }{\partial \theta }}\log f(X;\theta )\,\,\right|\,\,\theta \right]={}&\int _{\mathbb {R} }{\frac {{\frac {\partial }{\partial \theta }}f(x;\theta )}{f(x;\theta )}}f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}\int _{\mathbb {R} }f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}1\\[6pt]={}&0.\end{aligned}}$

Інформацію за Фішером визначають як дисперсію внеску:

${\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\,\,\right|\,\,\theta \right]=\int _{\mathbb {R} }\left({\frac {\partial }{\partial \theta }}\log f(x;\theta )\right)^{2}f(x;\theta )\,dx,$

зауважте, що ${\mathcal {I}}(\theta )\geq 0$. Випадкова величина, що несе високу інформацію за Фішером, вказує на те, що абсолютне значення внеску часто високе. Інформація за Фішером не є функцією конкретного спостереження, оскільки випадкову величину X було усереднено.

Якщо log f(x; θ) двічі диференційовний за θ, і за певних умов регулярності, то інформацію за Фішером також можна записати як

${\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right],$

оскільки

${\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {{\frac {\partial }{\partial \theta }}f(X;\theta )}{f(X;\theta )}}\right)^{2}={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}$

і

$\operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]={\frac {\partial ^{2}}{\partial \theta ^{2}}}\int _{\mathbb {R} }f(x;\theta )\,dx=0.$

Отже, інформацію за Фішером можна розглядати як кривину кривої підтримки (англ. support curve, графіка логарифмічної правдоподібності). Поруч із оцінкою максимальною правдоподібністю, низька інформація за Фішером вказує на те, що максимум виглядає «тупим», тобто максимум неглибокий і багато сусідніх значень мають схожу логарифмічну правдоподібність. І, навпаки, висока інформація за Фішером вказує на те, що максимум гострий.

Умови регулярності

Умови регулярності такі:

1. Частинна похідна f(X; θ) за θ існує майже скрізь. (Вона може не існувати на нульовій множині, за умови, що ця множина не залежить від θ.)
2. Інтеграл f(X; θ) можливо диференціювати під знаком інтеграла за θ.
3. Носій f(X; θ) не залежить від θ.

Якщо θ — вектор, то умови регулярності мусять виконуватися для кожного компонента θ. Приклад густини, яка не задовольняє умови регулярності, знайти легко: густина рівномірної змінної Uniform(0, θ) не виконує умов 1 та 3. У цьому випадку, незважаючи на можливість обчислення інформації за Фішером за визначенням, вона не матиме властивостей, які зазвичай передбачаються.

В термінах правдоподібності

Оскільки правдоподібність θ для заданої X завжди пропорційна ймовірності f(X; θ), їхні логарифми обов'язково відрізняються на сталу, яка не залежить від θ, а похідні цих логарифмів за θ обов'язково рівні. Таким чином, до визначення інформації за Фішером замість log f(X; θ) можливо підставити функцію логарифмічної правдоподібності l(θ; X).

Вибірки будь-якого розміру

Значення X може подавати як один зразок, вибраний з одного розподілу, так і набір зразків, вибраних з набору розподілів. Якщо є n зразків, і відповідні n розподілів статистично незалежні, то інформація за Фішером обов'язково буде сумою значень інформації за Фішером для кожного окремого зразка з його розподілу. Зокрема, якщо ці n розподілів незалежні й однаково розподілені, то інформація за Фішером обов'язково становитиме n разів інформації за Фішером для одного зразка з загального розподілу. Іншими словами, інформація за Фішером н. о. р. спостережень вибірки розміру n із сукупності дорівнює добуткові n на інформацію за Фішером для одного спостереження з цієї ж сукупності.

Неформальний вивід межі Крамера — Рао

Нерівність Крамера — Рао стверджує, що обернена величина інформації за Фішером є нижньою межею дисперсії будь-якого незміщеного оцінювача θ. Van Trees, (1968) та Frieden, (2004) пропонують наступний метод виведення межі Крамера — Рао, результат, який описує застосування інформації за Фішером.

Неформально, почнімо з розгляду незміщеного оцінювача ${\hat {\theta }}(X)$. Математично «незміщеність» означає, що

$\operatorname {E} \left[\left.{\hat {\theta }}(X)-\theta \,\,\right|\,\,\theta \right]=\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=0$ незалежно від значення $\theta .$

Цей вираз нульовий незалежно від θ, тож його частинна похідна за θ також мусить бути нульовою. За правилом добутку ця частинна похідна також дорівнює

$0={\frac {\partial }{\partial \theta }}\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=\int \left({\hat {\theta }}(x)-\theta \right){\frac {\partial f}{\partial \theta }}\,dx-\int f\,dx.$

Для кожного значення θ функція правдоподібності є функцією густини ймовірності, отже, $\int f\,dx=1$. Використовуючи ланцюгове правило для частинної похідної $\log f$, а потім ділячи й множачи на $f(x;\theta )$, можливо перевірити, що

${\frac {\partial f}{\partial \theta }}=f\,{\frac {\partial \log f}{\partial \theta }}.$

Використовуючи ці два факти в наведеному вище виразі, отримуємо

$\int \left({\hat {\theta }}-\theta \right)f\,{\frac {\partial \log f}{\partial \theta }}\,dx=1.$

Розкладання підінтегрального виразу на множники дає

$\int \left(\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right)\left({\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right)\,dx=1.$

При піднесенні виразу в інтегралі до квадрату нерівність Коші — Буняковського дає

$1={\biggl (}\int \left[\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right]\cdot \left[{\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right]\,dx{\biggr )}^{2}\leq \left[\int \left({\hat {\theta }}-\theta \right)^{2}f\,dx\right]\cdot \left[\int \left({\frac {\partial \log f}{\partial \theta }}\right)^{2}f\,dx\right].$

Другий множник у дужках визначається як інформація за Фішером, а перший множник є середньоквадратичною похибкою оцінювача ${\hat {\theta }}$. За перетворення, ця нерівність каже нам, що

$\operatorname {Var} \left({\hat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}\left(\theta \right)}}.$

Іншими словами, точність можливої оцінки параметра θ принципово обмежена інформацією за Фішером функції правдоподібності.

Іншим чином той же висновок можливо отримати безпосередньо з нерівності Коші — Буняковського для випадкових величин $|\operatorname {Cov} (A,B)|^{2}\leq \operatorname {Var} (A)\operatorname {Var} (B)$, застосувавши її до випадкових величин ${\hat {\theta }}(X)$ та $\partial _{\theta }\log f(X;\theta )$, і побачивши, що для незміщених оцінювачів маємо$$\operatorname {Cov} [{\hat {\theta }}(X),\partial _{\theta }\log f(X;\theta )]=\int {\hat {\theta }}(x)\,\partial _{\theta }f(x;\theta )\,dx=\partial _{\theta }\operatorname {E} [{\hat {\theta }}]=1.$$

Приклади

Однопараметровий експеримент Бернуллі

Проба Бернуллі — це випадкова величина з двома можливими результатами: 0 та 1, де 1 має ймовірність θ. Цей результат можливо розглядати як підкидання несиметричної монети, де ймовірність випадіння аверса (1) дорівнює θ, а ймовірність випадіння реверса (0) — 1 − θ.

Нехай X — проба Бернуллі однієї вибірки з розподілу. Інформацію за Фішером, яка міститься в X, можна обчислити як

${\begin{aligned}{\mathcal {I}}(\theta )&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(\theta ^{X}(1-\theta )^{1-X}\right)\right|\theta \right]\\[5pt]&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left(X\log \theta +(1-X)\log(1-\theta )\right)\,\,\right|\,\,\theta \right]\\[5pt]&=\operatorname {E} \left[\left.{\frac {X}{\theta ^{2}}}+{\frac {1-X}{(1-\theta )^{2}}}\,\,\right|\,\,\theta \right]\\[5pt]&={\frac {\theta }{\theta ^{2}}}+{\frac {1-\theta }{(1-\theta )^{2}}}\\[5pt]&={\frac {1}{\theta (1-\theta )}}.\end{aligned}}$

Оскільки інформація за Фішером адитивна, інформація за Фішером для n незалежних випробувань Бернуллі становить

${\mathcal {I}}(\theta )={\frac {n}{\theta (1-\theta )}}.$

Якщо $x_{i}$ — один з $2^{n}$ можливих результатів n незалежних випробувань Бернуллі, а $x_{ij}$ — j-й результат i-го випробування, то ймовірність $x_{i}$ задається як

$p(x_{i},\theta )=\prod _{j=0}^{n}\theta ^{x_{ij}}(1-\theta )^{x_{ij}}$

Середнє значення i-го випробування становить $\mu _{i}=(1/n)\sum _{j=1}^{n}x_{ij}$ Математичне сподівання середнього значення випробування:

$E(\mu )=\sum _{x_{i}}\mu _{i}\,p(x_{i},\theta )=\theta$

де сума береться по всіх $2^{n}$ можливих результатах випробувань. Математичне сподівання квадрата середнього:

$E(\mu ^{2})=\sum _{x_{i}}\mu _{i}^{2}\,p(x_{i},\theta )={\frac {(1+(n-1)\theta )\theta }{n}}$

тож дисперсія значення середнього становить

$E(\mu ^{2})-E(\mu )^{2}=(1/n)\theta (1-\theta )$

Видно, що інформація за Фішером є оберненою величиною дисперсії середнього числа успіхів у n випробуваннях Бернуллі. Це правило є загальним. У цьому випадку нерівність Крамера — Рао є рівністю.

Оцінка θ за X ∼ Bern (√θ)

Як інший модельний приклад розгляньмо випадкову величину $X$ з можливими результатами 0 та 1 з імовірностями $p_{0}=1-{\sqrt {\theta }}$ та $p_{1}={\sqrt {\theta }}$ відповідно, для деякого $\theta \in [0,1]$. Наша мета — оцінити $\theta$ зі спостережень $X$.

Інформація за Фішером для цього випадку виглядає як$${\begin{aligned}{\mathcal {I}}(\theta )&=\mathrm {E} \left[\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}{\Bigg |}\,\theta \right]\\&=(1-{\sqrt {\theta }})\left({\frac {-1}{2{\sqrt {\theta }}(1-{\sqrt {\theta }})}}\right)^{2}+{\sqrt {\theta }}\left({\frac {1}{2\theta }}\right)^{2}\\&={\frac {1}{4\theta }}\left({\frac {1}{1-{\sqrt {\theta }}}}+{\frac {1}{\sqrt {\theta }}}\right)\end{aligned}}.$$Цей вираз також можливо вивести безпосередньо перепараметруванням наведеної нижче формули. Загальніше, для будь-якої достатньо регулярної функції $f$, такої, що $f(\theta )\in [0,1]$, інформація за Фішером для оцінки $\theta$ за $X\sim \operatorname {Bern} (f(\theta ))$ обчислюється аналогічно:$${\mathcal {I}}(\theta )=f'(\theta )^{2}\left({\frac {1}{1-f(\theta )}}+{\frac {1}{f(\theta )}}\right).$$

Матричний вигляд

Коли параметрів N, тобто θ — вектор N × 1, $\theta ={\begin{bmatrix}\theta _{1}&\theta _{2}&\dots &\theta _{N}\end{bmatrix}}^{\textsf {T}},$ тоді інформація за Фішером набуває вигляду матриці N × N. Цю матрицю називають інформаці́йною ма́трицею за Фі́шером (ІМФ, англ. Fisher information matrix, FIM), і її типовий елемент

${\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta _{i}}}\log f(X;\theta )\right)\left({\frac {\partial }{\partial \theta _{j}}}\log f(X;\theta )\right)\,\,\right|\,\,\theta \right].$

ІМФ — додатно напіввизначена матриця N × N. Якщо вона додатно визначена, то вона визначає ріманову метрику на N-вимірному просторі параметрів. Галузь інформаційної геометрії використовує це для поєднання інформації за Фішером з диференціальною геометрією, і в цьому контексті ця метрика відома як фішерова інформаційна метрика.

За певних умов регулярності інформаційну матрицю за Фішером можна також записати як

${\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta _{i}\,\partial \theta _{j}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]\,.$

Цей результат цікавий з кількох причин:

• Його можливо вивести як матрицю Гессе відносної ентропії.
• Його можливо використовувати як ріманову метрику для визначення геометрії Фішера — Рао, коли він додатно визначений.
• Його можливо розуміти як метрику, індуковану з евклідової метрики, після відповідної заміни змінної.
• У комплекснозначному вигляді це метрика Фубіні — Штуді.
• Він є ключовою частиною доведення теореми Уїлкса, яка дозволяє оцінювати довірчі області для оцінювання максимальною правдоподібністю (для тих умов, для яких це застосовно), не потребуючи принципу правдоподібності.
• У випадках, коли наведені вище аналітичні обчислення ІМФ складні, можливо робити усереднення простих оцінок Монте-Карло матриці Гессе від'ємної функції логарифмічної правдоподібності як оцінку ІМФ. Ці оцінки можуть ґрунтуватися на значеннях від'ємної функції логарифмічної правдоподібності або її градієнті; аналітичне обчислення матриці Гессе від'ємної функції логарифмічної правдоподібності не потрібне.

Інформаційно ортогональні параметри

Кажуть, що два вектори компонент параметрів θ₁ та θ₂ інформаційно ортогональні (англ. information orthogonal), якщо інформаційна матриця за Фішером блочно-діагональна з цими компонентами в окремих блоках. Ортогональні параметри зручні тим, що їхні оцінки максимальною правдоподібністю асимптотично некорельовані. Коли йдеться про аналіз статистичної моделі, варто витратити певний час на пошук ортогонального параметрування моделі, особливо коли цільовий параметр одновимірний, але завадний параметр може мати будь-яку вимірність.

Сингулярна статистична модель

Якщо інформаційна матриця за Фішером додатно визначена для всіх значень θ, то відповідну статистичну модель називають регулярною (англ. regular); інакше модель називають сингулярною (англ. singular). До прикладів сингулярних статистичних моделей належать: гауссові суміші, біноміальні суміші, багатовимірні суміші, баєсові мережі, нейронні мережі, радіальні базисні функції, приховані марковські моделі, стохастичні контекстовільні граматики, регресії зі зменшеним рангом (англ. reduced rank regressions), машини Больцмана.

У машинному навчанні, якщо статистичну модель розроблено так, що вона витягує приховану структуру з випадкового явища, то вона природно стає сингулярною.

Багатовимірний нормальний розподіл

ІМФ для N-вимірного багатовимірного нормального розподілу $\,X\sim N\left(\mu (\theta ),\,\Sigma (\theta )\right)$ має особливий вигляд. Нехай K-вимірний вектор параметрів це $\theta ={\begin{bmatrix}\theta _{1}&\dots &\theta _{K}\end{bmatrix}}^{\textsf {T}}$, а вектор випадкових нормальних величин це $X={\begin{bmatrix}X_{1}&\dots &X_{N}\end{bmatrix}}^{\textsf {T}}$. Припустімо, що середні значення цих випадкових величин це $\,\mu (\theta )={\begin{bmatrix}\mu _{1}(\theta )&\dots &\mu _{N}(\theta )\end{bmatrix}}^{\textsf {T}}$, а $\,\Sigma (\theta )$ — коваріаційна матриця. Тоді, для $1\leq m,\,n\leq K$, елемент (m, n) ІМФ дорівнює:

${\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}+{\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right),$

де $(\cdot )^{\textsf {T}}$ позначує транспонування вектора, $\operatorname {tr} (\cdot )$ позначує слід квадратної матриці, а

${\begin{aligned}{\frac {\partial \mu }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \mu _{1}}{\partial \theta _{m}}}&{\dfrac {\partial \mu _{2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \mu _{N}}{\partial \theta _{m}}}\end{bmatrix}}^{\textsf {T}};\\[8pt]{\dfrac {\partial \Sigma }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\[5pt]{\dfrac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{bmatrix}}.\end{aligned}}$

Зауважте, що особливим, але дуже поширеним випадком є такий, коли $\Sigma (\theta )=\Sigma$, стала. Тоді

${\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}.\$

У цьому випадку інформаційну матрицю за Фішером можна ототожнити з матрицею коефіцієнтів нормальних рівнянь теорії найменших квадратів.

Інший особливий випадок виникає, коли середнє та коваріація залежать від двох різних векторних параметрів, скажімо, β та θ. Це особливо популярне в аналізі просторових даних, де часто використовують лінійну модель з корельованими залишками. У такому випадку

${\mathcal {I}}(\beta ,\theta )=\operatorname {diag} \left({\mathcal {I}}(\beta ),{\mathcal {I}}(\theta )\right)$

де

${\begin{aligned}{\mathcal {I}}{(\beta )_{m,n}}&={\frac {\partial \mu ^{\textsf {T}}}{\partial \beta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \beta _{n}}},\\[5pt]{\mathcal {I}}{(\theta )_{m,n}}&={\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}{\Sigma ^{-1}}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right)\end{aligned}}$

Властивості

Ланцюгове правило

Подібно до ентропії та взаємної інформації, інформація за Фішером також має розклад за ланцюго́вим пра́вилом (англ. chain rule). Зокрема, якщо X та Y — спільно розподілені випадкові величини, то має місце наступне:

${\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y\mid X}(\theta ),$

де ${\mathcal {I}}_{Y\mid X}(\theta )=\operatorname {E} _{X}\left[{\mathcal {I}}_{Y\mid X=x}(\theta )\right]$, а ${\mathcal {I}}_{Y\mid X=x}(\theta )$ — це інформація за Фішером Y щодо $\theta$, обчислена за умовною густиною Y за заданого значення X = x.

Як окремий випадок, якщо дві випадкові величини незалежні, то інформація, яку вони дають, є сумою інформації від кожної з випадкових величин окремо:

${\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta ).$

Отже, інформація у вибірці з n незалежних однаково розподілених спостережень дорівнює n-кратній інформації для вибірки розміру 1.

f-розходження

Якщо задано опуклу функцію $f:[0,\infty )\to (-\infty ,\infty ]$, таку, що $f(x)$ скінченна для всіх $x>0$, $f(1)=0$, а $f(0)=\lim _{t\to 0^{+}}f(t)$ (яка може бути нескінченною), вона визначає f-розбіжність $D_{f}$. Якщо $f$ строго опукла в $1$, а потім локально в $\theta \in \Theta$, інформаційна матриця за Фішером є метрикою, в тому сенсі що$$(\delta \theta )^{T}I(\theta )(\delta \theta )={\frac {1}{f''(1)}}D_{f}(P_{\theta +\delta \theta }\parallel P_{\theta })$$де $P_{\theta }$ — розподіл, параметрований $\theta$, тобто розподіл з функцією густини ймовірності $f(x;\theta )$.

У такій формі видно, що інформаційна матриця за Фішером є рімановою метрикою і правильно змінюється за зміни змінних. (див. розділ про перепараметрування.)

Достатня статистика

Інформація, яку надає достатня статистика, є такою ж, як і інформація вибірки X. Це можна побачити, використовуючи критерій розкладу Неймана для достатньої статистики. Якщо T(X) достатня для θ, то

$f(X;\theta )=g(T(X),\theta )h(X)$

для деяких функцій g та h. З незалежності h(X) від θ випливає, що

${\frac {\partial }{\partial \theta }}\log \left[f(X;\theta )\right]={\frac {\partial }{\partial \theta }}\log \left[g(T(X);\theta )\right],$

а рівність інформації випливає з визначення інформації за Фішером. Загальніше, якщо T = t(X) — статистика, то

${\mathcal {I}}_{T}(\theta )\leq {\mathcal {I}}_{X}(\theta )$

і рівність виконується тоді й лише тоді, коли T — достатня статистика.

Перепараметрування

Інформація за Фішером залежить від параметрування задачі. Якщо θ та η — два скалярні параметрування задачі оцінювання, і θ — неперервно диференційовна функція від η, то

${\mathcal {I}}_{\eta }(\eta )={\mathcal {I}}_{\theta }(\theta (\eta ))\left({\frac {d\theta }{d\eta }}\right)^{2}$

де ${\mathcal {I}}_{\eta }$ та ${\mathcal {I}}_{\theta }$ — інформаційні міри за Фішером для η та θ відповідно.

У випадку векторів, нехай ${\boldsymbol {\theta }}$ та ${\boldsymbol {\eta }}$ — k-вектори, які параметрують задачу оцінювання, і нехай ${\boldsymbol {\theta }}$ — неперервно диференційовна функція від ${\boldsymbol {\eta }}$, тоді

${\mathcal {I}}_{\boldsymbol {\eta }}({\boldsymbol {\eta }})={\boldsymbol {J}}^{\textsf {T}}{\mathcal {I}}_{\boldsymbol {\theta }}({\boldsymbol {\theta }}({\boldsymbol {\eta }})){\boldsymbol {J}}$

де елемент (i, j) матриці Якобі k × k ${\boldsymbol {J}}$ визначається як

$J_{ij}={\frac {\partial \theta _{i}}{\partial \eta _{j}}},$

і де ${\boldsymbol {J}}^{\textsf {T}}$ — транспонована матриця ${\boldsymbol {J}}$.

В інформаційній геометрії це розглядають як зміну координат на рімановому многовиді, і внутрішні властивості кривини залишаються незмінними за різних параметрувань. Загалом, інформаційна матриця за Фішером забезпечує ріманову метрику (точніше, метрику Фішера — Рао) для многовиду термодинамічних станів і її можливо використовувати як міру інформаційно-геометричної складності для класифікації фазових переходів, наприклад, скалярна кривина тензора термодинамічної метрики розбігається в точці фазового переходу (і лише там).

У термодинамічному контексті інформаційна матриця за Фішером безпосередньо пов'язана з темпом зміни відповідних параметрів порядку. Зокрема, такі зв'язки дозволяють виявляти фазові переходи другого порядку через розбіжність окремих елементів інформаційної матриці за Фішером.

Ізопериметрична нерівність

Інформаційна матриця за Фішером відіграє роль у нерівності, подібній до ізопериметричної нерівності. Серед усіх імовірнісних розподілів із заданою ентропією, той, чия інформаційна матриця за Фішером має найменший слід, є гауссовим розподілом. Це подібно до того, як серед усіх обмежених множин із заданим об'ємом найменшу площу поверхні має сфера.

Доведення містить взяття багатовимірної випадкової величини $X$ з функцією густини $f$ і додавання параметра положення для утворення сімейства густин $\{f(x-\theta )\mid \theta \in \mathbb {R} ^{n}\}$. Тоді, за аналогією з формулою Мінковського — Штайнера, «площа поверхні» $X$ визначається як

$S(X)=\lim _{\varepsilon \to 0}{\frac {e^{H(X+Z_{\varepsilon })}-e^{H(X)}}{\varepsilon }}$

де $Z_{\varepsilon }$ — гауссова змінна з коваріаційною матрицею $\varepsilon I$. Назва «площа поверхні» підходить, оскільки ентропійна потужність $e^{H(X)}$ є об'ємом «ефективної опорної множини», тому $S(X)$ є «похідною» від об'єму ефективної опорної множини, подібно до формули Мінковського — Штайнера. Решта доведення використовує нерівність ентропійної потужності, яка подібна до нерівності Брунна — Мінковського. Слід інформаційної матриці за Фішером виявляється пропорційним $S(X)$.

Застосування

Оптимальне планування експериментів

Інформацію за Фішером широко використовують в оптимальному плануванні експериментів. Через взаємозв'язок дисперсії оцінювача та інформації за Фішером мінімізування цієї дисперсії відповідає максимізуванню цієї інформації.

Коли лінійна (або злінеаризована) статистична модель містить декілька параметрів, середнє оцінювача цих параметрів є вектором, а його дисперсія — матрицею. Обернення матриці дисперсій називають «інформаційною матрицею» (англ. "information matrix"). Оскільки дисперсія оцінювача вектору параметрів — матриця, задача «мінімізування дисперсії» ускладнюється. За допомогою теорії статистики статистики стискають інформаційну матрицю до дійснозначних зведених статистик; як дійснозначні функції, ці «інформаційні критерії» можливо максимізувати.

Традиційно статистики оцінювали оцінювачі та плани експериментів за допомогою певної зведеної статистики коваріаційної матриці (незміщеного оцінювача), зазвичай із додатними дійсними значеннями (на кшталт визначника або сліду матриці). Робота з додатними дійсними числами має кілька переваг: якщо оцінювач одного параметра має додатну дисперсію, то дисперсія та інформація за Фішером є додатними дійсними числами; отже, вони є елементами опуклого конуса невід'ємних дійсних чисел (ненульові елементи якого мають обернені значення в цьому ж конусі).

Для декількох параметрів коваріаційні та інформаційні матриці є елементами опуклого конуса невід'ємно визначених симетричних матриць у частково впорядкованому векторному просторі з порядком Льовнера. Цей конус замкнений щодо додавання та обернення матриць, а також щодо множення додатних дійсних чисел і матриць. Огляд теорії матриць і порядку Льовнера наведено у праці Пукельсгайма.

Традиційні критерії оптимальності є інваріантами інформаційної матриці в сенсі теорії інваріантів; алгебрично, традиційні критерії оптимальності є функціоналами власних значень (фішерової) інформаційної матриці (див. оптимальне планування).

Апріорний розподіл Джеффріса в баєсовій статистиці

У баєсовій статистиці інформацію за Фішером використовують для обчислення апріорного розподілу Джеффріса, стандартного неінформативного апріорного розподілу для параметрів неперервних розподілів.

Обчислювальна нейронаука

Інформацію за Фішером використовували для знаходження меж точності нейронних кодів. У цьому випадку X зазвичай є спільними відгуками багатьох нейронів, які подають низьковимірну змінну θ (як-от параметр стимулу). Зокрема, досліджували роль кореляцій у шумі нейронних відгуків.

Епідеміологія

Інформацію за Фішером використовували для дослідження інформативності різних джерел даних для оцінки репродукційного числа SARS-CoV-2.

Виведення фізичних законів

Інформація за Фішером відіграє центральну роль у суперечливому принципі, висунутому Фріденом як основа фізичних законів, що є предметом дискусій.

Машинне навчання

Інформацію за Фішером використовують у методиках машинного навчання, таких як еластичне закріплювання ваг, які знижують катастрофічне забування у штучних нейронних мережах.

Інформацію за Фішером можливо використовувати як альтернативу матриці Гессе функції втрат у тренуванні мереж градієнтним спуском другого порядку.

Розрізнення кольорів

Використовуючи фішерову інформаційну метрику, да Фонсека та ін. досліджували, наскільки еліпси МакАдама (еліпси розрізнення кольорів) можливо вивести з функцій відгуку фоторецепторів сітківки.

Зв'язок із відносною ентропією

Інформація за Фішером пов'язана з відносною ентропією. Відносну ентропію, або розходження Кульбака — Лейблера, між двома розподілами $p$ та $q$ можливо записати як

$KL(p:q)=\int p(x)\log {\frac {p(x)}{q(x)}}\,dx.$

Тепер розгляньмо сімейство ймовірнісних розподілів $f(x;\theta )$, параметрованих $\theta \in \Theta$. Тоді розходження Кульбака — Лейблера між двома розподілами в цьому сімействі можливо записати як

$D(\theta ,\theta ')=KL(p({}\cdot {};\theta ):p({}\cdot {};\theta '))=\int f(x;\theta )\log {\frac {f(x;\theta )}{f(x;\theta ')}}\,dx.$

Якщо параметр $\theta$ незмінний, то відносна ентропія між двома розподілами з того ж сімейства мінімізується при $\theta '=\theta$. Для значень $\theta '$, близьких до $\theta$, попередній вираз можна розкласти в ряд до другого порядку:

$D(\theta ,\theta ')={\frac {1}{2}}(\theta '-\theta )^{\textsf {T}}\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }(\theta '-\theta )+o\left((\theta '-\theta )^{2}\right)$

Але другу похідну можливо записати як

$\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }=-\int f(x;\theta )\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}\log(f(x;\theta '))\right)_{\theta '=\theta }\,dx=[{\mathcal {I}}(\theta )]_{i,j}.$

Тож інформація за Фішером подає кривину відносної ентропії умовного розподілу відносно його параметрів.

Історія

Інформацію за Фішером обговорювали кілька ранніх статистиків, зокрема Ф. І. Еджворт. Наприклад, Севідж пише: «У ній [інформації за Фішером] його [Фішера] певною мірою передбачили (Еджворт 1908–9, особливо стор. 502, 507–8, 662, 677–8, 82–5 і посилання, які він [Еджворт] наводить, включно з Пірсоном і Філоном 1898 [. . .])». Існує кілька ранніх історичних джерел і кілька оглядів цієї ранньої роботи.

Див. також

• Ефективність (статистика)
• Спостережувана інформація
• Фішерова інформаційна метрика
• Формаційна матриця
• Інформаційна геометрія
• Апріорний розподіл Джеффріса
• Межа Крамера — Рао
• Принцип мінімальної інформації за Фішером
• Квантова інформація за Фішером

Інші міри, які використовують у теорії інформації:

• Інформаційна ентропія
• Розходження Кульбака — Лейблера
• Власна інформація

Джерела

• Cramér, Harald (1946). Mathematical methods of statistics. Princeton mathematical series (англ.). Princeton: Princeton University Press. ISBN 0691080046.
• Edgeworth, F. Y. (Jun 1908). On the Probable Errors of Frequency-Constants. Journal of the Royal Statistical Society (англ.). 71 (2): 381—397. doi:10.2307/2339461. JSTOR 2339461.
• Edgeworth, F. Y. (Sep 1908). On the Probable Errors of Frequency-Constants (Contd.). Journal of the Royal Statistical Society (англ.). 71 (3): 499—512. doi:10.2307/2339293. JSTOR 2339293.
• Edgeworth, F. Y. (Dec 1908). On the Probable Errors of Frequency-Constants (Contd.). Journal of the Royal Statistical Society (англ.). 71 (4): 651—678. doi:10.2307/2339378. JSTOR 2339378.
• Fisher, R. A. (1 січня 1922). On the mathematical foundations of theoretical statistics. Philosophical Transactions of the Royal Society of London, Series A (англ.). 222 (594–604): 309—368. Bibcode:1922RSPTA.222..309F. doi:10.1098/rsta.1922.0009. hdl:2440/15172.
• Frieden, B. R. (2004). Science from Fisher Information: A Unification (англ.). Cambridge Univ. Press. ISBN 0-521-00911-1.
• Frieden, B. Roy; Gatenby, Robert A. (2013). Principle of maximum Fisher information from Hardy's axioms applied to statistical systems. Physical Review E (англ.). 88 (4): 042144. arXiv:1405.0007. Bibcode:2013PhRvE..88d2144F. doi:10.1103/PhysRevE.88.042144. PMC 4010149. PMID 24229152.
• Hald, A. (May 1999). On the History of Maximum Likelihood in Relation to Inverse Probability and Least Squares. Statistical Science (англ.). 14 (2): 214—222. doi:10.1214/ss/1009212248. JSTOR 2676741.
• Hald, A. (1998). A History of Mathematical Statistics from 1750 to 1930 (англ.). New York: Wiley. ISBN 978-0-471-17912-2.
• Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (англ.) (вид. 2nd). Springer. ISBN 978-0-387-98502-2.
• Le Cam, Lucien (1986). Asymptotic Methods in Statistical Decision Theory (англ.). Springer-Verlag. ISBN 978-0-387-96307-5.
• Pratt, John W. (May 1976). F. Y. Edgeworth and R. A. Fisher on the Efficiency of Maximum Likelihood Estimation. Annals of Statistics (англ.). 4 (3): 501—514. doi:10.1214/aos/1176343457. JSTOR 2958222.
• Rao, C. Radhakrishna (1945). Information and the Accuracy Attainable in the Estimation of Statistical Parameters. Breakthroughs in Statistics. Springer Series in Statistics (англ.). Т. 37. с. 81—91. doi:10.1007/978-1-4612-0919-5_16. ISBN 978-0-387-94037-3. S2CID 117034671. {{cite book}}: Проігноровано |journal= (довідка)
• Savage, L. J. (May 1976). On Rereading R. A. Fisher. Annals of Statistics (англ.). 4 (3): 441—500. doi:10.1214/aos/1176343456. JSTOR 2958221.
• Schervish, Mark J. (1995). Theory of Statistics (англ.). New York: Springer. ISBN 978-0-387-94546-0.
• Stigler, S. M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900 (англ.). Harvard University Press. ISBN 978-0-674-40340-6.^{[сторінка?]}
• Stigler, S. M. (1978). Francis Ysidro Edgeworth, Statistician. Journal of the Royal Statistical Society, Series A (англ.). 141 (3): 287—322. doi:10.2307/2344804. JSTOR 2344804.
• Stigler, S. M. (1999). Statistics on the Table: The History of Statistical Concepts and Methods (англ.). Harvard University Press. ISBN 978-0-674-83601-3. ^{[сторінка?]}
• Van Trees, H. L. (1968). Detection, Estimation, and Modulation Theory, Part I (англ.). New York: Wiley. ISBN 978-0-471-09517-0.