Функція внеску

У статистиці вне́сок, фу́нкція вне́ску, або ефекти́вний вне́сок (англ. score, score function, efficient score, informant) показує, наскільки чутливо функція правдоподібності $L(\theta ;X)$ залежить від свого параметру $\theta$. В явному вигляді внесок $\theta$ є градієнтом логарифмічної правдоподібності по відношенню до $\theta$.

Внесок відіграє важливу роль у деяких аспектах висновування. Наприклад:

• у формулюванні локально найпотужнішого статистичного критерію;
• у наближенні похибки в оцінці максимальної правдоподібності;
• у показуванні асимптотичної достатності оцінки максимальної правдоподібності;
• у формулюванні довірчих інтервалів;
• у показуваннях нерівності Крамера — Рао.

Функція внеску також відіграє важливу роль в обчислювальній статистиці, оскільки вона може грати певну роль в обчисленні оцінок максимальної правдоподібності.

Визначення

Функція внеску, або ефективний внесок, — це градієнт (вектор часткових похідних) по відношенню до деякого параметру $\theta$ логарифму (зазвичай, натурального логарифму) функції правдоподібності (логарифмічної правдоподібності). Якщо спостереженням є $X$, а його правдоподібністю є $L(\theta ;X)$, то внесок $V$ може бути знайдено за допомогою ланцюгового правила:

$V\equiv V(\theta ,X)={\frac {\partial }{\partial \theta }}\log L(\theta ;X)={\frac {1}{L(\theta ;X)}}{\frac {\partial L(\theta ;X)}{\partial \theta }}.$

Таким чином, внесок $V$ показує чутливість $L(\theta ;X)$ (її похідну, нормалізовану за її значенням). Зауважте, що $V$ є функцією від $\theta$ та спостереження $X$, отже, взагалі кажучи, він не є статистикою. Проте в деяких застосуваннях, таких як перевірка внеску, внесок оцінюється на певному значення $\theta$ (такому як значення нульової гіпотези, або оцінка максимальної правдоподібності $\theta$), і в такому випадку результатом є статистика.

У старій літературі для позначення внеску по відношенню до нескінченно малого перенесення заданої густини може застосовуватися термін «лінійний внесок» (англ. linear score). Цей звичай походить з того часу, коли основним параметром, що становив інтерес, було середнє значення або медіана розподілу. В цьому випадку правдоподібність спостереження задається густиною вигляду $L(\theta ;X)=f(X+\theta )$. Тоді «лінійний внесок» визначається як

$V_{\rm {linear}}={\frac {\partial }{\partial X}}\log f(X)$

Властивості

Середнє значення

За деяких умов закономірності, математичне сподівання $V$ по відношенню до спостереження $x$ за умови істинності параметру $\theta$, що записується як $\mathbb {E} (V\mid \theta )$, є нульовим. Щоби побачити це, перепишімо функцію правдоподібності L як функцію густини ймовірності $L(\theta ;x)=f(x;\theta )$. Тоді

${\begin{aligned}\mathbb {E} (V\mid \theta )&=\int _{-\infty }^{+\infty }f(x;\theta ){\frac {\partial }{\partial \theta }}\log L(\theta ;X)\,dx=\int _{-\infty }^{+\infty }{\frac {\partial }{\partial \theta }}\log L(\theta ;X)f(x;\theta )\,dx\\[6pt]&=\int _{-\infty }^{+\infty }{\frac {1}{f(x;\theta )}}{\frac {\partial f(x;\theta )}{\partial \theta }}f(x;\theta )\,dx=\int _{-\infty }^{+\infty }{\frac {\partial f(x;\theta )}{\partial \theta }}\,dx\end{aligned}}$

Якщо дотримуються певні умови диференційовності (див. Формула Лейбніца), то цей інтеграл може бути переписано як

${\frac {\partial }{\partial \theta }}\int _{-\infty }^{+\infty }f(x;\theta )\,dx={\frac {\partial }{\partial \theta }}1=0.$

Варто перевикласти отриманий вище результат словами: математичне сподівання внеску є нульовим. Таким чином, якщо потрібно було повторювано брати проби з деякого розподілу, і повторювано обчислювати внесок, то при наближенні числа повторюваних проб до нескінченності середнє значення цих внесків прямуватиме до нуля.

Дисперсія

Дисперсія внеску відома як інформація за Фішером, і записується як ${\mathcal {I}}(\theta )$. Оскільки математичне сподівання внеску є нульовим, її може бути записано як

${\mathcal {I}}(\theta )=\mathbb {E} \left\{\left.\left[{\frac {\partial }{\partial \theta }}\log L(\theta ;X)\right]^{2}\right|\theta \right\}.$

Зауважте, що визначена таким чином інформація за Фішером не є функцією будь-якого конкретного спостереження, оскільки випадкову змінну $X$ було усереднено. Це поняття інформації є корисним при порівнянні двох методів спостереження деякого випадкового процесу.

Приклади

Процес Бернуллі

Розгляньмо процес Бернуллі з A успіхами та B невдачами; ймовірністю успіху є θ.

Тоді правдоподібністю L є

$L(\theta ;A,B)={\frac {(A+B)!}{A!B!}}\theta ^{A}(1-\theta )^{B},$

таким чином, внеском V є

$V={\frac {1}{L}}{\frac {\partial L}{\partial \theta }}={\frac {A}{\theta }}-{\frac {B}{1-\theta }}.$

Тепер ми можемо перевірити, що математичне сподівання внеску є нульовим. Зауважуючи, що математичним сподіванням A є nθ, а математичним сподіванням B є n(1 − θ) [пригадаймо, що A та B є випадковими змінними], ми можемо побачити, що математичним сподіванням V є

$E(V)={\frac {n\theta }{\theta }}-{\frac {n(1-\theta )}{1-\theta }}=n-n=0.$

Ми можемо також перевірити й дисперсію $V$. Нам відомо, що A + B = n (таким чином, B = n − A), і що дисперсією A є nθ(1 − θ), таким чином, дисперсією V є

${\begin{aligned}\operatorname {var} (V)&=\operatorname {var} \left({\frac {A}{\theta }}-{\frac {n-A}{1-\theta }}\right)=\operatorname {var} \left(A\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)\right)\\&=\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)^{2}\operatorname {var} (A)={\frac {n}{\theta (1-\theta )}}.\end{aligned}}$

Модель із двійковим виходом

Для моделей з двійковими виходами (Y = 1 або 0) внесок моделі може оцінюватися за допомогою логарифму передбачень

$S=Y\log(p)+(1-Y)(\log(1-p))$

де p є ймовірністю в оцінюваній моделі, а S є внеском.

Застосування

Внесковий алгоритм

Детальніші відомості з цієї теми ви можете знайти в статті Внесковий алгоритм.

Внесковий алгоритм (англ. scoring algorithm) — це ітеративний метод чисельного визначення статистичної оцінки максимальної правдоподібності.

Перевірка внеску

Детальніші відомості з цієї теми ви можете знайти в статті Перевірка внеску.

Див. також

• Інформація за Фішером
• Теорія інформації
• Перевірка внеску
• Внесковий алгоритм
• Крива підтримки

Література

• Cox, D. R.; Hinkley, D. V. (1974). Theoretical Statistics. Chapman & Hall. ISBN 0-412-12420-3. (англ.)
• Schervish, Mark J. (1995). Theory of Statistics. New York: Springer. Section 2.3.1. ISBN 0-387-94546-6. (англ.)
• Chentsov, N.N. (2001), Informant, у Hazewinkel, Michiel (ред.), Математична енциклопедія, Springer, ISBN 978-1-55608-010-4 (англ.)
• Steyerberg, E. W.; Vickers, A. J.; Cook, N. R.; Gerds, T.; Gonen, M.; Obuchowski, N.; Pencina, M. J.; Kattan, M. W. (2010). Assessing the performance of prediction models. A framework for traditional and novel measures. Epidemiology. 21 (1): 128—138. doi:10.1097/EDE.0b013e3181c30fb2. (англ.)