Перейти до вмісту

Багатовимірний нормальний розподіл

Матеріал з Вікіпедії — вільної енциклопедії.
Багатовимірний нормальний розподіл

Множина точок, що представляють елементарні події багатовимірного нормального розподілу із 𝝁=[00] і 𝜮=[13/53/52], разом з якими показано еліпс розміром в 3-сігми, два маргінальні розподіли і дві 1-вимірні гістограми.
Параметриμ ∈ Rk — коефіцієнт зсуву
Σ ∈ Rk×k — коваріаційна матриця (додатноозначена матриця)
Носій функціїx ∈ μ + span(Σ) ⊆ Rk
Розподіл імовірностейdet⁡(2π𝜮)−12e−12(𝐱−𝝁)′𝜮−1(𝐱−𝝁),
існує лише за умови, що Σ є додатньоозначена матриця
Функція розподілу ймовірностей (cdf)(не має аналітичного виразу)
Середнєμ
Модаμ
ДисперсіяΣ
Ентропія12ln⁡det⁡(2πe𝜮)
Твірна функція моментів (mgf)exp⁡(𝝁′𝐭+12𝐭′𝜮𝐭)
Характеристична функціяexp⁡(i𝝁′𝐭−12𝐭′𝜮𝐭)

Багатовимірний нормальний розподіл (чи багатовимірний гаусів розподіл) у теорії ймовірностей — це узагальнення одновимірного нормального розподілу для випадку із багатьма вимірами. Відповідно до одного із визначень стверджують, що вектор випадкових величин має k-варіативний нормальний розподіл якщо кожна лінійна комбінація його k компонент має одновимірний нормальний розподіл. В основному його важливість випливає із узагальнення центральної граничної теореми для багатьох вимірів. Багатовимірний нормальний розподіл часто використовують аби описати, принаймні наближено, будь-яку множину (можливо) корельованих випадкових величин із дійсними значенням, кожна з яких скупчується довкола середнього значення.

Позначення і параметризація

[ред. | ред. код]

Багатовимірний нормальний розподіл k-вимірного вектору випадкових величин X = [X1, X2, …, Xk]T може записуватися у формі наступної нотації:

𝐗 ∼ 𝒩(𝝁,𝜮),

або із метою явно зазначити, що X є k-вимірним:

𝐗 ∼ 𝒩k(𝝁,𝜮),

із k-вимірним вектором середніх значень

𝝁=E⁡[𝐗]=[E⁡[X1],E⁡[X2],…,E⁡[Xk]]T,

і матрицею коваріацій k×k

𝜮=:E⁡[(𝐗−𝝁)(𝐗−𝝁)T]=[Cov⁡[Xi,Xj];1≤i,j≤k].

Визначення

[ред. | ред. код]

Випадковий вектор 𝐗=(X1,…,Xn)⊤:Ω→ℝn має багатовимірний нормальний розподіл, якщо виконується одне з наступних еквівалентних умов:

  • Довільна лінійна комбінація компонентів вектора ∑i=1naiXi має нормальний розподіл є константою.
  • Існує вектор незалежних стандартних нормальних випадкових величин 𝐙=(Z1,…,Zm)⊤, дійсний вектор 𝝁=(μ1,…,μn)⊤ і матриця 𝐀 розмірності n×m, такі що:
𝐗=𝐀𝐙+𝝁.
ϕ𝐗(𝐮)=ei𝝁⊤𝐮−12𝐮⊤Σ𝐮,𝐮∈ℝn.

Зауваження

[ред. | ред. код]
  • Якщо розглядати тільки розподілу з невиродженою коваріаційною матрицею, то еквівалентним буде також наступне визначення:
Існує вектор 𝝁∈ℝn і додатно визначена симетрична матриця 𝜮 розмірності n×n, такі що щільність ймовірності вектора 𝐗 має вид:
f𝐗(𝐱)=1(2π)n/2|Σ|1/2e−12(𝐱−𝝁)⊤Σ−1(𝐱−𝝁),𝐱∈ℝn,
де |Σ| — визначник матриці Σ, а Σ−1 — матриця зворотна до Σ


  • Вектор 𝝁 є вектором середніх значень 𝐗, а Σ — його коваріаційна матриця
  • У випадку n=1, багатовимірний нормальний розподіл зводиться до звичайного нормального розподілу.
  • Якщо випадковий вектор 𝐗 має багатовимірний нормальний розподіл, то пишуть 𝐗∼N(𝝁,Σ).

Властивості

[ред. | ред. код]
  • Якщо вектор 𝐗=(X1,…,Xn)⊤ має багатовимірний нормальний розподіл, то його компоненти Xi,i=1,…,n, мають одновимірний нормальний розподіл. Зворотне, узагалі говорячи, невірно (див. приклад [Архівовано 15 грудня 2012 у Wayback Machine.])!
  • Якщо випадкові величини X1,…,Xn мають одномірний нормальний розподіл і спільно незалежні, те випадковий вектор 𝐗=(X1,…,Xn)⊤ має багатовимірний нормальний розподіл. Матриця коваріацій Σ такого вектора діагональна.
  • Якщо 𝐗=(X1,…,Xn)⊤ має багатовимірний нормальний розподіл, і його компоненти попарно некорельовані, то вони незалежні. Однак, якщо тільки компоненти Xi,i=1,…,n мають одномірний нормальний розподіл і попарно не корелюють, те звідси не випливає, що вони незалежні.
Контрприклад. Нехай X∼N(0,1), а α=±1 з рівними ймовірностями. Тоді якщо Y=αX∼N(0,1), те кореляція X і Y дорівнює нулю. Однак, ці випадкові величини залежні.
  • Багатовимірний нормальний розподіл стійко щодо лінійних перетворень. Якщо 𝐗∼N(𝝁,Σ), а 𝐀 — довільна матриця розмірності m×n, то
𝐀𝐗∼N(𝐀𝝁,𝐀Σ𝐀⊤).

Функція густини

[ред. | ред. код]
Спільна функція густини біваріативного нормального розподілу

Не вироджений випадок

[ред. | ред. код]

Багатовимірний нормальний розподіл називають "не виродженим" коли його симетрична матриця коваріацій 𝜮 є додатньоозначеною. В такому випадку розподіл має функцію густини:[1]

f𝐗(x1,…,xk)=exp⁡(−12(𝐱−𝝁)T𝜮−1(𝐱−𝝁))(2π)k|𝜮|

де 𝐱 це k-вимірний вектор стовпець дійсних чисел і |𝜮|≡det⁡𝜮 це детермінант для 𝜮, відомий також як узагальнена дисперсія. Вищенаведене рівняння спрощується до аналогічного рівняння, що відповідає одновимірному нормальному розподілу якщо 𝜮 є матрицею розміром 1×1 (тобто єдиним дійсним числом).

Циркулярно-симетрична версія комплексного нормального розподілу має дещо відмінну форму.

Кожен окіл ізо-густини—окіл точок в k-вимірному просторі, в кожній з яких буде деяке стале значення густини —є еліпсом або його узагальненням для більших вимірів; оскільки багатовимірний нормальний розподіл є особливим випадком еліптичних розподілів.

В описовій статистиці (𝐱−𝝁)T𝜮−1(𝐱−𝝁) відомо як відстань Махаланобіса, яка задає відстань обраної точки 𝐱 від середнього 𝝁. Зауважте, що у випадку коли k=1, розподіл зводиться до одновимірного нормального розподілу, і відстань Махаланобіса зводиться до абсолютного значення стандартної оцінки.

Біваріативний випадок

[ред. | ред. код]

У 2-вимірному несингулярному випадку (k = rank(Σ) = 2), функція густини імовірності для вектору [X Y]′ є наступною:

f(x,y)=12πσXσY1−ρ2exp⁡(−12(1−ρ2)[(x−μX)2σX2+(y−μY)2σY2−2ρ(x−μX)(y−μY)σXσY])

де ρ — кореляція між X і Y і де σX>0 і σY>0. В такому випадку,

𝝁=(μXμY),𝜮=(σX2ρσXσYρσXσYσY2).

У біваріативному випадку, перша еквівалентна умова встановлення нормальності багатовимірного розподілу може бути менш сувора: для того, щоб зробити висновок чи є вектор [X Y]′ біваріативно нормальним достатньо перевірити чи зліченно велика кількість відмінних лінійних комбінацій X і Y є нормально розподілені.[2]

Біваріативні околи ізо-густини на площині x,y є еліпсами. Із збільшенням абсолютного значення коефіцієнту кореляції ρ, ці околи будуть сплющуватися до наступної прямої :

y(x)=sgn⁡(ρ)σYσX(x−μX)+μY.

Це пояснюється тим, що якщо в даному виразі sgn(ρ) замінити на ρ, воно є найкращим лінійним незміщеним передбаченням[en] для Y, що задане значенням X.[3]

Багатовимірна центральна гранична теорема

[ред. | ред. код]

Нехай ξ(1),ξ(2),... — послідовність незалежних і однаково розподілених випадкових векторів, кожний з який має середнє Eξ(1)=a і невироджену матрицю коваріацій Σ . Позначимо через Snξ(1)+...+ξ(n) вектор часткових сум. Тоді при n→∞ має місце збіжність розподілів векторів η(n)=Sn−nan⇒η, де η має розподіл NO,Σ. В умовах багатовимірної центральної граничної теореми розподіл будь-яких неперервних функцій g(η(n)) збігається до розподілу g(η). Як g(x) нам буде потрібна тільки g(x)=∑xi2=‖x‖2.

Наслідок

[ред. | ред. код]

В умовах багатовимірної центральної граничної теореми має місце збіжність ‖η(n)‖2⇒‖η‖2.

Примітки

[ред. | ред. код]
  1. ↑ UIUC, Lecture 21. The Multivariate Normal Distribution [Архівовано 23 червня 2016 у Wayback Machine.], 21.5:"Finding the Density".
  2. ↑ Hamedani, G. G.; Tata, M. N. (1975). On the determination of the bivariate normal distribution from distributions of linear combinations of the variables. The American Mathematical Monthly. 82 (9): 913—915. doi:10.2307/2318494.
  3. ↑ Wyatt, John. Linear least mean-squared error estimation (PDF). Lecture notes course on applied probability. Архів оригіналу (PDF) за 10 жовтня 2015. Процитовано 23 січня 2012. [Архівовано 2015-10-10 у Wayback Machine.]