Нерівність Крамера — Рао

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

В математичній статистиці нерівністю Крамера—Рао (на честь Гаральда Крамера та К.Р. Рао) називається нерівність, яка при деяких умовах, що накладені на статистичну модель, дає нижню границю для дисперсії оцінки невідомого параметра, виражаючи її через інформацію за Фішером.

Формулювання[ред.ред. код]

Нехай дано статистичну модель (X,\,B,\,P_\theta), x = (x_1,\dots,\,x_n) — вибірка розміру n, визначена функція правдоподібності L(\theta,\,x) = L(\theta,\;x_1,\,x_2,\dots\,x_n) і виконані такі умови (умови регулярності):

  • L_{}^{} > 0 і всюди диференційована по \theta_{}^{}.
  • Функція U(\theta,\,x) = \frac{\partial \ln L(\theta,\,x)}{\partial \theta} (функція впливу або внеску вибірки) має скінченну дисперсію (або, що те саме,скінченна інформація за Фішером)
  • Для будь-якої статистики \widehat{\theta}(x) з скінченним другим моментом має місце рівність
\frac{\partial}{\partial \theta} \int\limits_X \widehat{\theta}(x)\, L(\theta,\,x)\, dx = \int\limits_X \widehat{\theta}(x)\, \frac{\partial}{\partial \theta} L(\theta,\,x)\, dx.

Нехай при цих умовах дано статистику \widehat{\theta}(x), яка незміщено оцінює диференційовну функцію \tau(\theta). Тоді справедлива наступна нерівність:

  • \mathrm{D}_\theta \big(\widehat{\theta}(x)\big)\geqslant\frac{\big(\tau'(\theta) \big)^2}{I_n(\theta)};
  • рівність досягається тоді і тільки тоді, коли \widehat{\theta}(x) - \tau(\theta) представляється у вигляді a(\theta) U(\theta,\,x).

Тут I_n^{}(\theta)інформація за Фішером.

Частковий випадок[ред.ред. код]

Часто використовується наступний частковий випадок нерівності, що наведена вище, що має назву нерівність Крамера-Рао. Нехай виконані умови регулярності, а \widehat{\theta}(x)незміщена оцінка параметра \theta. Тоді

\mathrm{D}_\theta\,\widehat{\theta}(x)\geqslant\frac{1}{I_n(\theta)}.

Рівність в цій нерівності досягається тоді і тільки тоді, коли \hat \theta (x)-\theta=a(\theta)U(\theta,x).

Застосування[ред.ред. код]

Оцінка параметра називається ефективною, якщо для неї нерівність Крамера-Рао перетворюється в рівність. Таким чином, нерівність може бути використана для доведення того, що дисперсія даної оцінки найменша з можливих, тобто що дана оцінка в деякому сенсі краще інших.