Умовне математичне сподівання

Умовне математичне сподівання в теорії ймовірностей — середнє значення випадкової величини відносно умовного розподілу.

Визначення

Вважатимемо, що задано ймовірнісний простір $(\Omega,\mathcal{F},\mathbb{P})$. Нехай $X:\Omega \to \mathbb{R}$ — інтегровна випадкова величина, тобто $\mathbb{E}\vert X \vert < \infty$. Нехай також $\mathcal{G} \subset \mathcal{F}$ — під-σ-алгебра σ-алгебри $\mathcal{F}$.

УМС відносно σ-алгебри

Випадкова величина $\hat{X}$ називається умовним математичним сподіванням $X$ відносно σ-алгебри $\mathcal{G}$, якщо

• $\hat{X}$ вимірна відносно $\mathcal{G}$.
• $\forall A \in \mathcal{G},\quad \mathbb{E}\left[\hat{X}\mathbf{1}_a\right]= \mathbb{E}[X \mathbf{1}_a]$,

де $\mathbf{1}_a$ — індикатор події $A$. Умовне математичне сподівання позначається $\mathbb{E}[X \mid \mathcal{G}]$.

Приклад. Нехай $\Omega = \{1,2,3,4\},\ \mathcal{F} = 2^{\Omega},\,\mathbb{P}(\omega)= 1/4,\ \omega = 1,\ldots, 4.$ Покладемо $\mathcal{G} = \{\varnothing \{1,2\}, \{3,4\}, \Omega \}$. Тоді $\mathcal{G}$ - σ-алгебра, і $\mathcal{G} \subset \mathcal{F}$. Нехай випадкова величина $X$ має вигляд

$X(\omega) = \omega^2,\; \omega = 1,\ldots, 4$.

Тоді

$\mathbb{E}[X \mid \mathcal{G}](\omega) = \left\{ \begin{matrix} \frac{5}{2}, & \omega = 1,2 \\[5pt] \frac{25}{2}, & \omega = 3,4. \end{matrix} \right.$

УМС щодо сімейства подій

Нехай $\mathcal{C} = \{C_{\alpha}\} \subset \mathcal{F}$ — довільне сімейство подій. Тоді умовним математичним сподіванням $X$ відносно $\mathcal{C}$ називається

$\mathbb{E}[X \mid \mathcal{C}] \equiv \mathbb{E}[X \mid \sigma(\mathcal{C})]$,

де $\sigma(\mathcal{C})$ — мінімальна сигма-алгебра, що містить $\mathcal{C}$.

Приклад. Нехай $\Omega = \{1,2,3,4\},\ \mathcal{F} = 2^{\Omega},\,\mathbb{P}(\omega)= 1/4,\ \omega = 1,\ldots, 4.$ Нехай також $C = \{1,2,3\}$. Тоді $\sigma(C) = \{\varnothing \{1,2,3\},\{4\},\omega\} \subset \mathcal{F}$. Не випадкова величина $X$ має вигляд

$X(\omega) = \omega^2,\; \omega = 1,\ldots, 4$.

Тоді

$\mathbb{E}[X \mid \mathcal{G}](\omega) = \left\{ \begin{matrix} \frac{14}{3}, & \omega = 1,2,3 \\[5pt] 16 & \omega = 4. \end{matrix} \right.$

УМС щодо випадкової величини

Нехай $Y:\Omega \to \mathbb{R}$ інша випадкова величина. Тоді умовним математичним сподіванням $X$ відносно $Y$ називається

$\mathbb{E}[X \mid Y] \equiv \mathbb{E}[X \mid \sigma(Y)]$,

де $\sigma(Y)$ — σ-алгебра, породжена випадковою величиною $Y$.

Інше визначення УМС $X$ відносно $Y$:

$\mathbb{E}(X \mid Y) = \mathbb{E}(X \mid Y = y) \mid y = Y$

Таке визначення конструктивно описує алгоритм знаходження УМС:

• знайти математичне сподівання випадкової величини $X$, приймаючи $Y$ за константу $y$;
• Потім в отриманому виразі $y$ назад замінити на випадкову величину $Y$.

Приклад: $X \equiv N(a, \sigma^2)$

$\mathbb{E}\left[ \frac XY \mid Y \right] = \mathbb{E}\left[ \frac Xy \right] \mid_{y = Y} = \frac{1}{y}\mathbb{E}[ X ] \mid_{y = Y} = \frac{a}{y} \mid_{y = Y} = \frac{a}{Y}$

Умовна ймовірність

Нехай $B \in \mathcal{F}$ — довільна подія, і $\mathbf{1}_b$ — його індикатор. Тоді умовною ймовірністю $B$ відносно $\mathcal{G}$ називається

$\mathbb{P}(B \mid \mathcal{G}) \equiv \mathbb{E}[\mathbf{1}_b \mid \mathcal{G}]$.

Зауваження

• Умовне математичне сподівання — це випадкова величина, а не число!
• Умовне математичне сподівання визначене з точністю до подій ймовірності нуль. Таким чином, якщо $\hat{X}_1 = \mathbb{E}[X \mid \mathcal{G}]$ і $\hat{X}_1 = \hat{X}_2$ $\mathbb{P}$-майже усюди, то $\hat{X}_2 = \mathbb{E}[X \mid \mathcal{G}]$. Ототожнивши випадкові величини, що розрізняються лише на подіях ймовірності нуль, отримуємо єдиність умовного математичного сподівання.
• Узявши $A = \Omega$, отримуємо за визначенням:

$\mathbb{E}[X] = \mathbb{E}[\mathbb{E}[X \mid \mathcal{G}]]$,

і зокрема справедлива формула повної ймовірності:

$\mathbb{P}(B) = \mathbb{E}[\mathbb{P}(B\mid \mathcal{G})]$.

• Нехай σ-алгебра $\mathcal{G} = \sigma(C_1,\ldots, C_n)$ породжена розбиттям $\{C_i\}_{i=1}^{\infty}$. Тоді

$\mathbb{E}[X \mid \mathcal{G}] = \sum_{i=1}^{\infty} \mathbb{E}[X \mid C_i] \mathbf{1}_{C_i}$.

Зокрема формула повної ймовірності приймає класичний вигляд:

$\mathbb{P}(A \mid \mathcal{G}) = \sum\limits_{i=1}^{\infty} \mathbb{P}(A \mid C_i) \mathbf{1}_{C_i}$,

а відповідно

$\mathbb{P}(A) = \sum\limits_{i=1}^{\infty} \mathbb{P}(A \mid C_i)\, \mathbb{P}(C_i)$.

Основні властивості

• Якщо $\hat{X} = \mathbb{E}[X \mid Y]$, то існує Борелева функція $h:\mathbb{R} \to \mathbb{R}$, така що

$\hat{X} = h(Y)$.

Умовне математичне сподівання $X$ щодо події $\{Y = y\}$ за визначенням рівне

$\mathbb{E}[X \mid Y = y] \equiv h(y)$.

• Якщо $X \ge 0$ м.н., то $\mathbb{E}[X \mid \mathcal{G}] \ge 0$ п.н.
• Якщо $X$ незалежна від $\mathcal{G}$, то

$\mathbb{E}[X \mid \mathcal{G}]= \mathbb{E}[X]$ м.н.

Зокрема, якщо $X,Y$ незалежні випадкові величини, то

$\mathbb{E}[X \mid Y] = \mathbb{E}[X]$ м.н.

• Якщо $\mathcal{G}_1,\mathcal{G}_2$ — дві σ-алгебри, такі що $\mathcal{G}_1 \subset \mathcal{G}_2 \subset \mathcal{F}$, то

$\mathbb{E}[\mathbb{E}[X \mid \mathcal{G}_2]\mid \mathcal{G}_1] = \mathbb{E}[X \mid \mathcal{G}_1]$.

• Якщо $X$ - $\mathcal{G}$-вимірна, і $Y$ — випадкова величина, така що $Y,XY \in L^1$, то

$\mathbb{E}[XY \mid \mathcal{G}] = X \, \mathbb{E}[Y \mid \mathcal{G}]$.

• "Математичне сподівання прибирає умову". Це правило вірне для УМС відносно випадкової величини (УМС в такому разі буде випадковою величиною) і для умовної ймовірності відносно випадкової величини

$\mathbb{E}[ \mathbb{E}(X \mid Y) ] = \mathbb{E}( X )$.

Додаткові властивості

• Теорема Леві про монотонну збіжність;
• Теорема Лебега про мажоровану збіжність;
• Лема Фату;
• Нерівність Єнсена.

УМС для дискретних величин

Нехай $Y$ — дискретна випадкова величина, розподіл якої задається функцією ймовірності $\mathbb{P}(Y = y_j) \equiv p_y(y_j)= p_j > 0,\; j = 1,2,\ldots$. Тоді система подій $\{Y = y_j\}$ є розбиттям $\Omega$, і

$\mathbb{E}[X \mid Y] = \sum\limits_{j=1}^{\infty} \mathbb{E}[X \mid Y = y_j] \mathbf{1}_{\{Y = y_j\}}$,

а

$\mathbb{E}[X \mid Y = y_j] = \mathbb{E}_{j}[X]$,

де $\mathbb{E}_j$ означає математичне сподівання узяте щодо умовної ймовірності $\mathbb{P}_j(\cdot)= \mathbb{P}(\cdot \mid Y = y_j)$.

Якщо випадкова величина $X$ також дискретна, то

$\mathbb{E}[X \mid Y = y_j] = \sum\limits_{i=1}^{\infty} x_i\ \mathbb{P}(X = x_i \mid Y = y_j) = \sum\limits_{i=1}^{\infty} x_i\ p_{X \mid Y}(x_i \mid y_j)$,

де $p_{X \mid Y}$ — умовна функція ймовірності випадкової величини $X$ відносно $Y$.

УМС для абсолютно неперервних випадкових величин

Нехай $X,Y$ - випадкові величини, такі що вектор $(X,Y)^{\top}$ абсолютно неперервний, і його розподіл задається густиною ймовірності $f_{X,Y}(x,y)$. Введемо умовну щільність $f_{X \mid Y}$, поклавши за визначенням

$f_{X \mid Y}(x \mid y) = \frac{f_{X,Y}(x,y)}{f_Y(y)}$,

де $f_Y$ - щільність імовірності випадкової величини $Y$. Тоді

$\mathbb{E}[X \mid Y] = h(Y)$,

де функція $h$ має вигляд

$h(y) = \int\limits_{-\infty}^{\infty} x\, f_{X\mid Y}(x \mid y)\, dx$.

Зокрема,

$\mathbb{E}[X \mid Y = y_j] = \int\limits_{-\infty}^{\infty} x\, f_{X\mid Y}(x \mid y_j)\, dx$.

УМС у L²

Розглянемо Простір випадкових величин із скінченним другим моментом $L^2$. У ньому визначені скалярний добуток

$\langle X, Y\rangle \equiv \mathbb{E}[XY],\; \forall X,y \in L^2$,

і породжена ним норма

$\|X\| = \sqrt{\mathbb{E}\left[X^2\right]},\; \forall X \in L^2$.

Множина всіх випадкових величин $L^2_{\mathcal{G}}$ з скінченним другим моментом і вимірних відносно $\mathcal{G}$, де $\mathcal{G} \subset \mathcal{F}$, є підпростором $L^2$. Тоді оператор $\Pi_{L^2_{\mathcal{G}}}:L^2 \to L^2$, що задається рівністю

$\Pi_{L^2_{\mathcal{G}}}(X) = \mathbb{E}[X \mid \mathcal{G}]$,

є оператором ортогонального проектування на $L^2_{\mathcal{G}}$. Зокрема:

• Умовне математичне сподівання $\mathbb{E}[X \mid \mathcal{G}]$ — це найкраще середньо-квадратичне наближення $X$ $\mathcal{G}$-вимірними випадковими величинами:

$\|X - \mathbb{E}[X\mid \mathcal{G}]\| = \inf\limits_{Z \in L^2_{\mathcal{G}}} \|X - Z\|$.

• Умовне математичне сподівання зберігає скалярний добуток:

$\langle X, Z \rangle = \langle \mathbb{E}[X\mid \mathcal{G}], Z\rangle,\; \forall Z \in L^2_{\mathcal{G}}$.

• Умовне математичне сподівання ідемпотентне:

$\Pi^2_{L^2_{\mathcal{G}}} = \Pi_{L^2_{\mathcal{G}}}$.

Див. також

• Умовний розподіл.

Література

• Карташов М.В. Імовірність, процеси, статистика - Київ, ВПЦ Київський університет, 2007.
• Capinski, Marek, Kopp, Peter E. Measure, Integral and Probability. Springer Verlag 2004 ISBN 9781852337810
• Williams D., Probability with Martingales, Cambridge University Press, 1991, ISBN 0-521-40605-6