Умовне математичне сподівання

Умовне математичне сподівання в теорії ймовірностей — середнє значення випадкової величини відносно умовного розподілу.

Визначення

Вважатимемо, що задано ймовірнісний простір $(\Omega ,{\mathcal {F}},{\mathbb {P}})$. Нехай $X:\Omega \to {\mathbb {R}}$ — інтегровна випадкова величина, тобто ${\mathbb {E}}\vert X\vert <\infty$. Нехай також ${\mathcal {G}}\subset {\mathcal {F}}$ — під-σ-алгебра σ-алгебри ${\mathcal {F}}$.

УМС відносно σ-алгебри

Випадкова величина ${\hat {X}}$ називається умовним математичним сподіванням $X$ відносно σ-алгебри ${\mathcal {G}}$, якщо

• ${\hat {X}}$ вимірна відносно ${\mathcal {G}}$.
• $\forall A\in {\mathcal {G}},\quad {\mathbb {E}}\left[{\hat {X}}{\mathbf {1}}_{a}\right]={\mathbb {E}}[X{\mathbf {1}}_{a}]$,

де ${\mathbf {1}}_{a}$ — індикатор події $A$. Умовне математичне сподівання позначається ${\mathbb {E}}[X\mid {\mathcal {G}}]$.

Приклад. Нехай $\Omega =\{1,2,3,4\},\ {\mathcal {F}}=2^{{\Omega }},\,{\mathbb {P}}(\omega )=1/4,\ \omega =1,\ldots ,4.$ Покладемо ${\mathcal {G}}=\{\varnothing \{1,2\},\{3,4\},\Omega \}$. Тоді ${\mathcal {G}}$ - σ-алгебра, і ${\mathcal {G}}\subset {\mathcal {F}}$. Нехай випадкова величина $X$ має вигляд

$X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4$.

Тоді

${\mathbb {E}}[X\mid {\mathcal {G}}](\omega )=\left\{{\begin{matrix}{\frac {5}{2}},&\omega =1,2\\[5pt]{\frac {25}{2}},&\omega =3,4.\end{matrix}}\right.$

УМС щодо сімейства подій

Нехай ${\mathcal {C}}=\{C_{{\alpha }}\}\subset {\mathcal {F}}$ — довільне сімейство подій. Тоді умовним математичним сподіванням $X$ відносно ${\mathcal {C}}$ називається

${\mathbb {E}}[X\mid {\mathcal {C}}]\equiv {\mathbb {E}}[X\mid \sigma ({\mathcal {C}})]$,

де $\sigma ({\mathcal {C}})$ — мінімальна сигма-алгебра, що містить ${\mathcal {C}}$.

Приклад. Нехай $\Omega =\{1,2,3,4\},\ {\mathcal {F}}=2^{{\Omega }},\,{\mathbb {P}}(\omega )=1/4,\ \omega =1,\ldots ,4.$ Нехай також $C=\{1,2,3\}$. Тоді $\sigma (C)=\{\varnothing \{1,2,3\},\{4\},\omega \}\subset {\mathcal {F}}$. Не випадкова величина $X$ має вигляд

$X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4$.

Тоді

${\mathbb {E}}[X\mid {\mathcal {G}}](\omega )=\left\{{\begin{matrix}{\frac {14}{3}},&\omega =1,2,3\\[5pt]16&\omega =4.\end{matrix}}\right.$

УМС щодо випадкової величини

Нехай $Y:\Omega \to {\mathbb {R}}$ інша випадкова величина. Тоді умовним математичним сподіванням $X$ відносно $Y$ називається

${\mathbb {E}}[X\mid Y]\equiv {\mathbb {E}}[X\mid \sigma (Y)]$,

де $\sigma (Y)$ — σ-алгебра, породжена випадковою величиною $Y$.

Інше визначення УМС $X$ відносно $Y$:

${\mathbb {E}}(X\mid Y)={\mathbb {E}}(X\mid Y=y)\mid y=Y$

Таке визначення конструктивно описує алгоритм знаходження УМС:

• знайти математичне сподівання випадкової величини $X$, приймаючи $Y$ за константу $y$;
• Потім в отриманому виразі $y$ назад замінити на випадкову величину $Y$.

Приклад: $X\equiv N(a,\sigma ^{2})$

${\mathbb {E}}\left[{\frac XY}\mid Y\right]={\mathbb {E}}\left[{\frac Xy}\right]\mid _{{y=Y}}={\frac {1}{y}}{\mathbb {E}}[X]\mid _{{y=Y}}={\frac {a}{y}}\mid _{{y=Y}}={\frac {a}{Y}}$

Умовна ймовірність

Нехай $B\in {\mathcal {F}}$ — довільна подія, і ${\mathbf {1}}_{b}$ — його індикатор. Тоді умовною ймовірністю $B$ відносно ${\mathcal {G}}$ називається

${\mathbb {P}}(B\mid {\mathcal {G}})\equiv {\mathbb {E}}[{\mathbf {1}}_{b}\mid {\mathcal {G}}]$.

Зауваження

• Умовне математичне сподівання — це випадкова величина, а не число!
• Умовне математичне сподівання визначене з точністю до подій ймовірності нуль. Таким чином, якщо ${\hat {X}}_{1}={\mathbb {E}}[X\mid {\mathcal {G}}]$ і ${\hat {X}}_{1}={\hat {X}}_{2}$ ${\mathbb {P}}$-майже усюди, то ${\hat {X}}_{2}={\mathbb {E}}[X\mid {\mathcal {G}}]$. Ототожнивши випадкові величини, що розрізняються лише на подіях ймовірності нуль, отримуємо єдиність умовного математичного сподівання.
• Узявши $A=\Omega$, отримуємо за визначенням:

${\mathbb {E}}[X]={\mathbb {E}}[{\mathbb {E}}[X\mid {\mathcal {G}}]]$,

і зокрема справедлива формула повної ймовірності:

${\mathbb {P}}(B)={\mathbb {E}}[{\mathbb {P}}(B\mid {\mathcal {G}})]$.

• Нехай σ-алгебра ${\mathcal {G}}=\sigma (C_{1},\ldots ,C_{n})$ породжена розбиттям $\{C_{i}\}_{{i=1}}^{{\infty }}$. Тоді

${\mathbb {E}}[X\mid {\mathcal {G}}]=\sum _{{i=1}}^{{\infty }}{\mathbb {E}}[X\mid C_{i}]{\mathbf {1}}_{{C_{i}}}$.

Зокрема формула повної ймовірності приймає класичний вигляд:

${\mathbb {P}}(A\mid {\mathcal {G}})=\sum \limits _{{i=1}}^{{\infty }}{\mathbb {P}}(A\mid C_{i}){\mathbf {1}}_{{C_{i}}}$,

а відповідно

${\mathbb {P}}(A)=\sum \limits _{{i=1}}^{{\infty }}{\mathbb {P}}(A\mid C_{i})\,{\mathbb {P}}(C_{i})$.

Основні властивості

• Якщо ${\hat {X}}={\mathbb {E}}[X\mid Y]$, то існує Борелева функція $h:{\mathbb {R}}\to {\mathbb {R}}$, така що

${\hat {X}}=h(Y)$.

Умовне математичне сподівання $X$ щодо події $\{Y=y\}$ за визначенням рівне

${\mathbb {E}}[X\mid Y=y]\equiv h(y)$.

• Якщо $X\geq 0$ м.н., то ${\mathbb {E}}[X\mid {\mathcal {G}}]\geq 0$ п.н.
• Якщо $X$ незалежна від ${\mathcal {G}}$, то

${\mathbb {E}}[X\mid {\mathcal {G}}]={\mathbb {E}}[X]$ м.н.

Зокрема, якщо $X,Y$ незалежні випадкові величини, то

${\mathbb {E}}[X\mid Y]={\mathbb {E}}[X]$ м.н.

• Якщо ${\mathcal {G}}_{1},{\mathcal {G}}_{2}$ — дві σ-алгебри, такі що ${\mathcal {G}}_{1}\subset {\mathcal {G}}_{2}\subset {\mathcal {F}}$, то

${\mathbb {E}}[{\mathbb {E}}[X\mid {\mathcal {G}}_{2}]\mid {\mathcal {G}}_{1}]={\mathbb {E}}[X\mid {\mathcal {G}}_{1}]$.

• Якщо $X$ - ${\mathcal {G}}$-вимірна, і $Y$ — випадкова величина, така що $Y,XY\in L^{1}$, то

${\mathbb {E}}[XY\mid {\mathcal {G}}]=X\,{\mathbb {E}}[Y\mid {\mathcal {G}}]$.

• "Математичне сподівання прибирає умову". Це правило вірне для УМС відносно випадкової величини (УМС в такому разі буде випадковою величиною) і для умовної ймовірності відносно випадкової величини

${\mathbb {E}}[{\mathbb {E}}(X\mid Y)]={\mathbb {E}}(X)$.

Додаткові властивості

• Теорема Леві про монотонну збіжність;
• Теорема Лебега про мажоровану збіжність;
• Лема Фату;
• Нерівність Єнсена.

УМС для дискретних величин

Нехай $Y$ — дискретна випадкова величина, розподіл якої задається функцією ймовірності ${\mathbb {P}}(Y=y_{j})\equiv p_{y}(y_{j})=p_{j}>0,\;j=1,2,\ldots$. Тоді система подій $\{Y=y_{j}\}$ є розбиттям $\Omega$, і

${\mathbb {E}}[X\mid Y]=\sum \limits _{{j=1}}^{{\infty }}{\mathbb {E}}[X\mid Y=y_{j}]{\mathbf {1}}_{{\{Y=y_{j}\}}}$,

а

${\mathbb {E}}[X\mid Y=y_{j}]={\mathbb {E}}_{{j}}[X]$,

де ${\mathbb {E}}_{j}$ означає математичне сподівання узяте щодо умовної ймовірності ${\mathbb {P}}_{j}(\cdot )={\mathbb {P}}(\cdot \mid Y=y_{j})$.

Якщо випадкова величина $X$ також дискретна, то

${\mathbb {E}}[X\mid Y=y_{j}]=\sum \limits _{{i=1}}^{{\infty }}x_{i}\ {\mathbb {P}}(X=x_{i}\mid Y=y_{j})=\sum \limits _{{i=1}}^{{\infty }}x_{i}\ p_{{X\mid Y}}(x_{i}\mid y_{j})$,

де $p_{{X\mid Y}}$ — умовна функція ймовірності випадкової величини $X$ відносно $Y$.

УМС для абсолютно неперервних випадкових величин

Нехай $X,Y$ - випадкові величини, такі що вектор $(X,Y)^{{\top }}$ абсолютно неперервний, і його розподіл задається густиною ймовірності $f_{{X,Y}}(x,y)$. Введемо умовну щільність $f_{{X\mid Y}}$, поклавши за визначенням

$f_{{X\mid Y}}(x\mid y)={\frac {f_{{X,Y}}(x,y)}{f_{Y}(y)}}$,

де $f_{Y}$ - щільність імовірності випадкової величини $Y$. Тоді

${\mathbb {E}}[X\mid Y]=h(Y)$,

де функція $h$ має вигляд

$h(y)=\int \limits _{{-\infty }}^{{\infty }}x\,f_{{X\mid Y}}(x\mid y)\,dx$.

Зокрема,

${\mathbb {E}}[X\mid Y=y_{j}]=\int \limits _{{-\infty }}^{{\infty }}x\,f_{{X\mid Y}}(x\mid y_{j})\,dx$.

УМС у L²

Розглянемо Простір випадкових величин із скінченним другим моментом $L^{2}$. У ньому визначені скалярний добуток

$\langle X,Y\rangle \equiv {\mathbb {E}}[XY],\;\forall X,y\in L^{2}$,

і породжена ним норма

$\|X\|={\sqrt {{\mathbb {E}}\left[X^{2}\right]}},\;\forall X\in L^{2}$.

Множина всіх випадкових величин $L_{{{\mathcal {G}}}}^{2}$ з скінченним другим моментом і вимірних відносно ${\mathcal {G}}$, де ${\mathcal {G}}\subset {\mathcal {F}}$, є підпростором $L^{2}$. Тоді оператор $\Pi _{{L_{{{\mathcal {G}}}}^{2}}}:L^{2}\to L^{2}$, що задається рівністю

$\Pi _{{L_{{{\mathcal {G}}}}^{2}}}(X)={\mathbb {E}}[X\mid {\mathcal {G}}]$,

є оператором ортогонального проектування на $L_{{{\mathcal {G}}}}^{2}$. Зокрема:

• Умовне математичне сподівання ${\mathbb {E}}[X\mid {\mathcal {G}}]$ — це найкраще середньо-квадратичне наближення $X$ ${\mathcal {G}}$-вимірними випадковими величинами:

$\|X-{\mathbb {E}}[X\mid {\mathcal {G}}]\|=\inf \limits _{{Z\in L_{{{\mathcal {G}}}}^{2}}}\|X-Z\|$.

• Умовне математичне сподівання зберігає скалярний добуток:

$\langle X,Z\rangle =\langle {\mathbb {E}}[X\mid {\mathcal {G}}],Z\rangle ,\;\forall Z\in L_{{{\mathcal {G}}}}^{2}$.

• Умовне математичне сподівання ідемпотентне:

$\Pi _{{L_{{{\mathcal {G}}}}^{2}}}^{2}=\Pi _{{L_{{{\mathcal {G}}}}^{2}}}$.

Див. також

• Умовний розподіл.

Література

• Карташов М.В. Імовірність, процеси, статистика - Київ, ВПЦ Київський університет, 2007.
• Capinski, Marek, Kopp, Peter E. Measure, Integral and Probability. Springer Verlag 2004 ISBN 9781852337810
• Williams D., Probability with Martingales, Cambridge University Press, 1991, ISBN 0-521-40605-6