Коваріаційна матриця

Коваріаційна матриця (або коваріаційна таблиця) в теорії ймовірностей — це квадратна матриця, яка складена з попарних коваріацій і дисперсій двох або більше випадкових величин.

Визначення

• нехай $\mathbf{X}:\Omega \to \mathbb{R}^n$, $\mathbf{Y}:\Omega \to \mathbb{R}^m$ — два випадкових вектора розмірності $n$ і $m$ відповідно. Нехай також випадкові величини $X_i,Y_j,\; i=1,\ldots, n,\; j = 1,\ldots, m$ мають скінченний другий момент, тобто $X_i,Y_j \in L^2$. Тоді матрицею коваріації $\mathbf{X},\mathbf{Y}$ називається

$\Sigma = \mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbb{E}\left[(\mathbf{X} - \mathbb{E}\mathbf{X})(\mathbf{Y} - \mathbb{E}\mathbf{Y})^{\top}\right],$

тобто

$\Sigma = (\sigma_{ij})$,

де

$\sigma_{ij} = \mathrm{cov}(X_i,Y_j) \equiv \mathbb{E}\left[(X_i - \mathbb{E}X_i) (Y_j - \mathbb{E}Y_j)\right],\; i=1,\ldots, n,\; j = 1,\ldots, m$.

• Якщо $\mathbf{X} \equiv \mathbf{Y}$, то $\Sigma$ називається матрицею коваріації вектора $\mathbf{X}$ і позначається $\mathrm{cov}(\mathbf{X})$. Така матриця коваріацій є узагальненням дисперсії для багатовимірної випадкової величини, а її слід — скалярним виразом дисперсії багатовимірної випадкової величини. Власні вектори і власні значення цієї матриці дозволяють оцінити розміри і форму хмари розподілу випадкової величини, апроксимувавши її еліпсоїдом (або еліпсом у двовимірному випадку) .

Зауваження

• Цей термін має також інші значення. Наприклад, матрицею коваріації називається матриця, складена з попарних коваріацій різних елементів одного випадкового вектора.

Властивості

• Скорочена формула для обчислення матриці коваріації:

$\mathrm{cov}(\mathbf{X}) = \mathbb{E}\left[\mathbf{X} \mathbf{X}^{\top}\right] - \mathbb{E}[\mathbf{X}] \cdot \mathbb{E}\left[\mathbf{X}^{\top}\right]$.

• Матриця коваріації випадкового вектора невід'ємно визначена:

$\mathrm{cov}(\mathbf{X}) \ge 0$.

• Зміна масштабу:

$\mathrm{cov}\left(\mathbf{a}^{\top} \mathbf{X}\right) = \mathbf{a}^{\top} \mathrm{cov}(\mathbf{X}) \mathbf{a},\; \forall \mathbf{a} \in \R^n$.

• Якщо випадкові вектори $\mathbf{X}$ і $\mathbf{Y}$ некорельовані ($\mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbf{0}$), то

$\mathrm{cov}(\mathbf{X} + \mathbf{Y}) = \mathrm{cov}(\mathbf{X}) + \mathrm{cov}(\mathbf{Y})$.

• Матриця коваріації афінного перетворення:

$\mathrm{cov}\left(\mathbf{A} \mathbf{X} + \mathbf{b}\right) = \mathbf{A} \mathrm{cov}(\mathbf{X}) \mathbf{A}^{\top}$,

де $\mathbf{A}$ — довільна матриця розмірності $n \times n$, а $\mathbf{b}\in \mathbb{R}^n$.

• Перестановка аргументів:

$\mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathrm{cov}(\mathbf{Y},\mathbf{X})^{\top}$

• Матриця коваріації адитивна за кожним аргументом:

$\mathrm{cov}(\mathbf{X}_1 + \mathbf{X}_2,\mathbf{Y}) = \mathrm{cov}(\mathbf{X}_1,\mathbf{Y}) + \mathrm{cov}(\mathbf{X}_2,\mathbf{Y})$,

$\mathrm{cov}(\mathbf{X},\mathbf{Y}_1 + \mathbf{Y}_2) = \mathrm{cov}(\mathbf{X},\mathbf{Y}_1) + \mathrm{cov}(\mathbf{X},\mathbf{Y}_2)$.

• Якщо $\mathbf{X}$ і $\mathbf{Y}$ незалежні, то

$\mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbf{0}$.

Особливість

• Згідно з законом додавання дисперсій, алгебраїчна сума значень коваріаційної матриці системи випадкових величин дорівнює дисперсії суми цих величин.

Теорема

• Якщо величини $X_1,X_2,\dots,X_N$ утворюють коло K, коло L або коло M, тоді алгебраїчна сума значень будь-якого стовпчика або рядка коваріаційної матриці системи таких величин дорівнює нулю .