Умовне математичне сподівання

Умовне математичне сподівання в теорії ймовірностей — середнє значення випадкової величини відносно умовного розподілу.

Визначення

Вважатимемо, що задано ймовірнісний простір $(\Omega ,{\mathcal {F}},\mathbb {P} )$$(\Omega ,{\mathcal {F}},\mathbb {P} )$. Нехай $X:\Omega \to \mathbb {R}$$X:\Omega \to \mathbb {R}$ — інтегровна випадкова величина, тобто $\mathbb {E} \vert X\vert <\infty$$\mathbb {E} \vert X\vert <\infty$. Нехай також ${\mathcal {G}}\subset {\mathcal {F}}$${\mathcal {G}}\subset {\mathcal {F}}$ — під-σ-алгебра σ-алгебри ${\mathcal {F}}$$\mathcal{F}$.

УМС відносно σ-алгебри

Випадкова величина ${\hat {X}}$${\hat {X}}$ називається умовним математичним сподіванням $X$$X$ відносно σ-алгебри ${\mathcal {G}}$${\mathcal {G}}$, якщо

• ${\hat {X}}$${\hat {X}}$ вимірна відносно ${\mathcal {G}}$${\mathcal {G}}$.
• $\forall A\in {\mathcal {G}},\quad \mathbb {E} \left[{\hat {X}}\mathbf {1} _{a}\right]=\mathbb {E} [X\mathbf {1} _{a}]$$\forall A\in {\mathcal {G}},\quad \mathbb {E} \left[{\hat {X}}\mathbf {1} _{a}\right]=\mathbb {E} [X\mathbf {1} _{a}]$,

де $\mathbf {1} _{a}$$\mathbf {1} _{a}$ — індикатор події $A$$A$. Умовне математичне сподівання позначається $\mathbb {E} [X\mid {\mathcal {G}}]$$\mathbb {E} [X\mid {\mathcal {G}}]$.

Приклад. Нехай $\Omega =\{1,2,3,4\},\ {\mathcal {F}}=2^{\Omega },\,\mathbb {P} (\omega )=1/4,\ \omega =1,\ldots ,4.$$\Omega =\{1,2,3,4\},\ {\mathcal {F}}=2^{\Omega },\,\mathbb {P} (\omega )=1/4,\ \omega =1,\ldots ,4.$ Покладемо ${\mathcal {G}}=\{\varnothing \{1,2\},\{3,4\},\Omega \}$${\mathcal {G}}=\{\varnothing \{1,2\},\{3,4\},\Omega \}$. Тоді ${\mathcal {G}}$${\mathcal {G}}$ - σ-алгебра, і ${\mathcal {G}}\subset {\mathcal {F}}$${\mathcal {G}}\subset {\mathcal {F}}$. Нехай випадкова величина $X$$X$ має вигляд

$X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4$$X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4$.

Тоді

$\mathbb {E} [X\mid {\mathcal {G}}](\omega )=\left\{{\begin{matrix}{\frac {5}{2}},&\omega =1,2\\[5pt]{\frac {25}{2}},&\omega =3,4.\end{matrix}}\right.$$\mathbb {E} [X\mid {\mathcal {G}}](\omega )=\left\{{\begin{matrix}{\frac {5}{2}},&\omega =1,2\\[5pt]{\frac {25}{2}},&\omega =3,4.\end{matrix}}\right.$

УМС щодо сімейства подій

Нехай ${\mathcal {C}}=\{C_{\alpha }\}\subset {\mathcal {F}}$${\mathcal {C}}=\{C_{\alpha }\}\subset {\mathcal {F}}$ — довільне сімейство подій. Тоді умовним математичним сподіванням $X$$X$ відносно ${\mathcal {C}}$$\mathcal{C}$ називається

$\mathbb {E} [X\mid {\mathcal {C}}]\equiv \mathbb {E} [X\mid \sigma ({\mathcal {C}})]$$\mathbb {E} [X\mid {\mathcal {C}}]\equiv \mathbb {E} [X\mid \sigma ({\mathcal {C}})]$,

де $\sigma ({\mathcal {C}})$$\sigma ({\mathcal {C}})$ — мінімальна сигма-алгебра, що містить ${\mathcal {C}}$$\mathcal{C}$.

Приклад. Нехай $\Omega =\{1,2,3,4\},\ {\mathcal {F}}=2^{\Omega },\,\mathbb {P} (\omega )=1/4,\ \omega =1,\ldots ,4.$$\Omega =\{1,2,3,4\},\ {\mathcal {F}}=2^{\Omega },\,\mathbb {P} (\omega )=1/4,\ \omega =1,\ldots ,4.$ Нехай також $C=\{1,2,3\}$$C=\{1,2,3\}$. Тоді $\sigma (C)=\{\varnothing \{1,2,3\},\{4\},\omega \}\subset {\mathcal {F}}$$\sigma (C)=\{\varnothing \{1,2,3\},\{4\},\omega \}\subset {\mathcal {F}}$. Не випадкова величина $X$$X$ має вигляд

$X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4$$X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4$.

Тоді

$\mathbb {E} [X\mid {\mathcal {G}}](\omega )=\left\{{\begin{matrix}{\frac {14}{3}},&\omega =1,2,3\\[5pt]16&\omega =4.\end{matrix}}\right.$$\mathbb {E} [X\mid {\mathcal {G}}](\omega )=\left\{{\begin{matrix}{\frac {14}{3}},&\omega =1,2,3\\[5pt]16&\omega =4.\end{matrix}}\right.$

УМС щодо випадкової величини

Нехай $Y:\Omega \to \mathbb {R}$$Y:\Omega \to \mathbb {R}$ інша випадкова величина. Тоді умовним математичним сподіванням $X$$X$ відносно $Y$$Y$ називається

$\mathbb {E} [X\mid Y]\equiv \mathbb {E} [X\mid \sigma (Y)]$$\mathbb {E} [X\mid Y]\equiv \mathbb {E} [X\mid \sigma (Y)]$,

де $\sigma (Y)$$\sigma (Y)$ — σ-алгебра, породжена випадковою величиною $Y$$Y$.

Інше визначення УМС $X$$X$ відносно $Y$$Y$:

$\mathbb {E} (X\mid Y)=\mathbb {E} (X\mid Y=y)\mid y=Y$$\mathbb {E} (X\mid Y)=\mathbb {E} (X\mid Y=y)\mid y=Y$

Таке визначення конструктивно описує алгоритм знаходження УМС:

• знайти математичне сподівання випадкової величини $X$$X$, приймаючи $Y$$Y$ за константу $y$$y$;
• Потім в отриманому виразі $y$$y$ назад замінити на випадкову величину $Y$$Y$.

Приклад: $X\equiv N(a,\sigma ^{2})$$X\equiv N(a,\sigma ^{2})$

$\mathbb {E} \left[{\frac {X}{Y}}\mid Y\right]=\mathbb {E} \left[{\frac {X}{y}}\right]\mid _{y=Y}={\frac {1}{y}}\mathbb {E} [X]\mid _{y=Y}={\frac {a}{y}}\mid _{y=Y}={\frac {a}{Y}}$$\mathbb {E} \left[{\frac {X}{Y}}\mid Y\right]=\mathbb {E} \left[{\frac {X}{y}}\right]\mid _{y=Y}={\frac {1}{y}}\mathbb {E} [X]\mid _{y=Y}={\frac {a}{y}}\mid _{y=Y}={\frac {a}{Y}}$

Умовна ймовірність

Нехай $B\in {\mathcal {F}}$$B\in {\mathcal {F}}$ — довільна подія, і $\mathbf {1} _{b}$$\mathbf {1} _{b}$ — його індикатор. Тоді умовною ймовірністю $B$$B$ відносно ${\mathcal {G}}$${\mathcal {G}}$ називається

$\mathbb {P} (B\mid {\mathcal {G}})\equiv \mathbb {E} [\mathbf {1} _{b}\mid {\mathcal {G}}]$$\mathbb {P} (B\mid {\mathcal {G}})\equiv \mathbb {E} [\mathbf {1} _{b}\mid {\mathcal {G}}]$.

Зауваження

• Умовне математичне сподівання — це випадкова величина, а не число!
• Умовне математичне сподівання визначене з точністю до подій ймовірності нуль. Таким чином, якщо ${\hat {X}}_{1}=\mathbb {E} [X\mid {\mathcal {G}}]$${\hat {X}}_{1}=\mathbb {E} [X\mid {\mathcal {G}}]$ і ${\hat {X}}_{1}={\hat {X}}_{2}$${\hat {X}}_{1}={\hat {X}}_{2}$ $\mathbb {P}$$\mathbb {P}$-майже усюди, то ${\hat {X}}_{2}=\mathbb {E} [X\mid {\mathcal {G}}]$${\hat {X}}_{2}=\mathbb {E} [X\mid {\mathcal {G}}]$. Ототожнивши випадкові величини, що розрізняються лише на подіях ймовірності нуль, отримуємо єдиність умовного математичного сподівання.
• Узявши $A=\Omega$$A=\Omega$, отримуємо за визначенням:

$\mathbb {E} [X]=\mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}]]$$\mathbb {E} [X]=\mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}]]$,

і зокрема справедлива формула повної ймовірності:

$\mathbb {P} (B)=\mathbb {E} [\mathbb {P} (B\mid {\mathcal {G}})]$$\mathbb {P} (B)=\mathbb {E} [\mathbb {P} (B\mid {\mathcal {G}})]$.

• Нехай σ-алгебра ${\mathcal {G}}=\sigma (C_{1},\ldots ,C_{n})$${\mathcal {G}}=\sigma (C_{1},\ldots ,C_{n})$ породжена розбиттям $\{C_{i}\}_{i=1}^{\infty }$$\{C_{i}\}_{i=1}^{\infty }$. Тоді

$\mathbb {E} [X\mid {\mathcal {G}}]=\sum _{i=1}^{\infty }\mathbb {E} [X\mid C_{i}]\mathbf {1} _{C_{i}}$$\mathbb {E} [X\mid {\mathcal {G}}]=\sum _{i=1}^{\infty }\mathbb {E} [X\mid C_{i}]\mathbf {1} _{C_{i}}$.

Зокрема формула повної ймовірності приймає класичний вигляд:

$\mathbb {P} (A\mid {\mathcal {G}})=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\mathbf {1} _{C_{i}}$$\mathbb {P} (A\mid {\mathcal {G}})=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\mathbf {1} _{C_{i}}$,

а відповідно

$\mathbb {P} (A)=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\,\mathbb {P} (C_{i})$$\mathbb {P} (A)=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\,\mathbb {P} (C_{i})$.

Основні властивості

• Якщо ${\hat {X}}=\mathbb {E} [X\mid Y]$${\hat {X}}=\mathbb {E} [X\mid Y]$, то існує Борелева функція $h:\mathbb {R} \to \mathbb {R}$$h:\mathbb {R} \to \mathbb {R}$, така що

${\hat {X}}=h(Y)$${\hat {X}}=h(Y)$.

Умовне математичне сподівання $X$$X$ щодо події $\{Y=y\}$$\{Y=y\}$ за визначенням рівне

$\mathbb {E} [X\mid Y=y]\equiv h(y)$$\mathbb {E} [X\mid Y=y]\equiv h(y)$.

• Якщо $X\geq 0$$X\geq 0$ м.н., то $\mathbb {E} [X\mid {\mathcal {G}}]\geq 0$$\mathbb {E} [X\mid {\mathcal {G}}]\geq 0$ п.н.
• Якщо $X$$X$ незалежна від ${\mathcal {G}}$${\mathcal {G}}$, то

$\mathbb {E} [X\mid {\mathcal {G}}]=\mathbb {E} [X]$$\mathbb {E} [X\mid {\mathcal {G}}]=\mathbb {E} [X]$ м.н.

Зокрема, якщо $X,Y$$X,Y$ незалежні випадкові величини, то

$\mathbb {E} [X\mid Y]=\mathbb {E} [X]$$\mathbb {E} [X\mid Y]=\mathbb {E} [X]$ м.н.

• Якщо ${\mathcal {G}}_{1},{\mathcal {G}}_{2}$${\mathcal {G}}_{1},{\mathcal {G}}_{2}$ — дві σ-алгебри, такі що ${\mathcal {G}}_{1}\subset {\mathcal {G}}_{2}\subset {\mathcal {F}}$${\mathcal {G}}_{1}\subset {\mathcal {G}}_{2}\subset {\mathcal {F}}$, то

$\mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}_{2}]\mid {\mathcal {G}}_{1}]=\mathbb {E} [X\mid {\mathcal {G}}_{1}]$$\mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}_{2}]\mid {\mathcal {G}}_{1}]=\mathbb {E} [X\mid {\mathcal {G}}_{1}]$.

• Якщо $X$$X$ - ${\mathcal {G}}$${\mathcal {G}}$-вимірна, і $Y$$Y$ — випадкова величина, така що $Y,XY\in L^{1}$$Y,XY\in L^{1}$, то

$\mathbb {E} [XY\mid {\mathcal {G}}]=X\,\mathbb {E} [Y\mid {\mathcal {G}}]$$\mathbb {E} [XY\mid {\mathcal {G}}]=X\,\mathbb {E} [Y\mid {\mathcal {G}}]$.

• "Математичне сподівання прибирає умову". Це правило вірне для УМС відносно випадкової величини (УМС в такому разі буде випадковою величиною) і для умовної ймовірності відносно випадкової величини

$\mathbb {E} [\mathbb {E} (X\mid Y)]=\mathbb {E} (X)$$\mathbb {E} [\mathbb {E} (X\mid Y)]=\mathbb {E} (X)$.

Додаткові властивості

• Теорема Леві про монотонну збіжність;
• Теорема Лебега про мажоровану збіжність;
• Лема Фату;
• Нерівність Єнсена.

УМС для дискретних величин

Нехай $Y$$Y$ — дискретна випадкова величина, розподіл якої задається функцією ймовірності $\mathbb {P} (Y=y_{j})\equiv p_{y}(y_{j})=p_{j}>0,\;j=1,2,\ldots$$\mathbb {P} (Y=y_{j})\equiv p_{y}(y_{j})=p_{j}>0,\;j=1,2,\ldots$. Тоді система подій $\{Y=y_{j}\}$$\{Y=y_{j}\}$ є розбиттям $\Omega$$\Omega$, і

$\mathbb {E} [X\mid Y]=\sum \limits _{j=1}^{\infty }\mathbb {E} [X\mid Y=y_{j}]\mathbf {1} _{\{Y=y_{j}\}}$$\mathbb {E} [X\mid Y]=\sum \limits _{j=1}^{\infty }\mathbb {E} [X\mid Y=y_{j}]\mathbf {1} _{\{Y=y_{j}\}}$,

а

$\mathbb {E} [X\mid Y=y_{j}]=\mathbb {E} _{j}[X]$$\mathbb {E} [X\mid Y=y_{j}]=\mathbb {E} _{j}[X]$,

де $\mathbb {E} _{j}$$\mathbb {E} _{j}$ означає математичне сподівання узяте щодо умовної ймовірності $\mathbb {P} _{j}(\cdot )=\mathbb {P} (\cdot \mid Y=y_{j})$$\mathbb {P} _{j}(\cdot )=\mathbb {P} (\cdot \mid Y=y_{j})$.

Якщо випадкова величина $X$$X$ також дискретна, то

$\mathbb {E} [X\mid Y=y_{j}]=\sum \limits _{i=1}^{\infty }x_{i}\ \mathbb {P} (X=x_{i}\mid Y=y_{j})=\sum \limits _{i=1}^{\infty }x_{i}\ p_{X\mid Y}(x_{i}\mid y_{j})$$\mathbb {E} [X\mid Y=y_{j}]=\sum \limits _{i=1}^{\infty }x_{i}\ \mathbb {P} (X=x_{i}\mid Y=y_{j})=\sum \limits _{i=1}^{\infty }x_{i}\ p_{X\mid Y}(x_{i}\mid y_{j})$,

де $p_{X\mid Y}$$p_{X\mid Y}$ — умовна функція ймовірності випадкової величини $X$$X$ відносно $Y$$Y$.

УМС для абсолютно неперервних випадкових величин

Нехай $X,Y$$X,Y$ - випадкові величини, такі що вектор $(X,Y)^{\top }$$(X,Y)^{\top }$ абсолютно неперервний, і його розподіл задається густиною ймовірності $f_{X,Y}(x,y)$$f_{X,Y}(x,y)$. Введемо умовну щільність $f_{X\mid Y}$$f_{X\mid Y}$, поклавши за визначенням

$f_{X\mid Y}(x\mid y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}$$f_{X\mid Y}(x\mid y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}$,

де $f_{Y}$$f_{Y}$ - щільність імовірності випадкової величини $Y$$Y$. Тоді

$\mathbb {E} [X\mid Y]=h(Y)$$\mathbb {E} [X\mid Y]=h(Y)$,

де функція $h$$h$ має вигляд

$h(y)=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y)\,dx$$h(y)=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y)\,dx$.

Зокрема,

$\mathbb {E} [X\mid Y=y_{j}]=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y_{j})\,dx$$\mathbb {E} [X\mid Y=y_{j}]=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y_{j})\,dx$.

УМС у L²

Розглянемо Простір випадкових величин із скінченним другим моментом $L^{2}$$L^{2}$. У ньому визначені скалярний добуток

$\langle X,Y\rangle \equiv \mathbb {E} [XY],\;\forall X,y\in L^{2}$$\langle X,Y\rangle \equiv \mathbb {E} [XY],\;\forall X,y\in L^{2}$,

і породжена ним норма

$\|X\|={\sqrt {\mathbb {E} \left[X^{2}\right]}},\;\forall X\in L^{2}$$\|X\|={\sqrt {\mathbb {E} \left[X^{2}\right]}},\;\forall X\in L^{2}$.

Множина всіх випадкових величин $L_{\mathcal {G}}^{2}$$L_{\mathcal {G}}^{2}$ з скінченним другим моментом і вимірних відносно ${\mathcal {G}}$${\mathcal {G}}$, де ${\mathcal {G}}\subset {\mathcal {F}}$${\mathcal {G}}\subset {\mathcal {F}}$, є підпростором $L^{2}$$L^{2}$. Тоді оператор $\Pi _{L_{\mathcal {G}}^{2}}:L^{2}\to L^{2}$$\Pi _{L_{\mathcal {G}}^{2}}:L^{2}\to L^{2}$, що задається рівністю

$\Pi _{L_{\mathcal {G}}^{2}}(X)=\mathbb {E} [X\mid {\mathcal {G}}]$$\Pi _{L_{\mathcal {G}}^{2}}(X)=\mathbb {E} [X\mid {\mathcal {G}}]$,

є оператором ортогонального проектування на $L_{\mathcal {G}}^{2}$$L_{\mathcal {G}}^{2}$. Зокрема:

• Умовне математичне сподівання $\mathbb {E} [X\mid {\mathcal {G}}]$$\mathbb {E} [X\mid {\mathcal {G}}]$ — це найкраще середньо-квадратичне наближення $X$$X$ ${\mathcal {G}}$${\mathcal {G}}$-вимірними випадковими величинами:

$\|X-\mathbb {E} [X\mid {\mathcal {G}}]\|=\inf \limits _{Z\in L_{\mathcal {G}}^{2}}\|X-Z\|$$\|X-\mathbb {E} [X\mid {\mathcal {G}}]\|=\inf \limits _{Z\in L_{\mathcal {G}}^{2}}\|X-Z\|$.

• Умовне математичне сподівання зберігає скалярний добуток:

$\langle X,Z\rangle =\langle \mathbb {E} [X\mid {\mathcal {G}}],Z\rangle ,\;\forall Z\in L_{\mathcal {G}}^{2}$$\langle X,Z\rangle =\langle \mathbb {E} [X\mid {\mathcal {G}}],Z\rangle ,\;\forall Z\in L_{\mathcal {G}}^{2}$.

• Умовне математичне сподівання ідемпотентне:

$\Pi _{L_{\mathcal {G}}^{2}}^{2}=\Pi _{L_{\mathcal {G}}^{2}}$$\Pi _{L_{\mathcal {G}}^{2}}^{2}=\Pi _{L_{\mathcal {G}}^{2}}$.

Див. також

• Умовний розподіл.

Література

• Карташов М.В. Імовірність, процеси, статистика - Київ, ВПЦ Київський університет, 2007.
• Capinski, Marek, Kopp, Peter E. Measure, Integral and Probability. Springer Verlag 2004 ISBN 9781852337810
• Williams D., Probability with Martingales, Cambridge University Press, 1991, ISBN 0-521-40605-6