Взаємна коваріація

Частина з циклу Статистика
Кореляція та коваріація
Для випадкових векторів Автокореляційна матриця Взаємна кореляційна матриця Автоковаріаційна матриця Взаємна коваріаційна матриця
Для стохастичних процесів Автокореляційна функція Взаємна кореляційна функція Автоковаріаційна функція Взаємна коваріаційна функція
Для детермінованих сигналів Автокореляційна функція Взаємна кореляційна функція Автоковаріаційна функція Взаємна коваріаційна функція

У теорії ймовірностей та статистиці для заданих двох стохастичних процесів $\left\{X_{t}\right\}$ та $\left\{Y_{t}\right\}$, взає́мна коваріа́ція (англ. cross-covariance) — це функція, яка дає коваріацію одного процесу з іншим у пари моментів часу. За звичайного позначення $\operatorname {E}$ для оператора математичного сподівання, якщо процеси мають функції середнього значення $\mu _{X}(t)=\operatorname {\operatorname {E} } [X_{t}]$ та $\mu _{Y}(t)=\operatorname {E} [Y_{t}]$, то перехресну коваріацію задають як

$\operatorname {K} _{XY}(t_{1},t_{2})=\operatorname {cov} (X_{t_{1}},Y_{t_{2}})=\operatorname {E} [(X_{t_{1}}-\mu _{X}(t_{1}))(Y_{t_{2}}-\mu _{Y}(t_{2}))]=\operatorname {E} [X_{t_{1}}Y_{t_{2}}]-\mu _{X}(t_{1})\mu _{Y}(t_{2}).\,$

Взаємна коваріація пов'язана із ширше вживаною взаємною кореляцією процесів, про які йде мова.

У випадку двох випадкових векторів $\mathbf {X} =(X_{1},X_{2},\ldots ,X_{p})^{\rm {T}}$ та $\mathbf {Y} =(Y_{1},Y_{2},\ldots ,Y_{q})^{\rm {T}}$ взаємною коваріацією буде матриця $\operatorname {K} _{XY}$ розміру $p\times q$ (яку часто позначують через $\operatorname {cov} (X,Y)$) з елементами $\operatorname {K} _{XY}(j,k)=\operatorname {cov} (X_{j},Y_{k}).\,$ Таким чином, термін взаємна коваріація використовують для того, щоб відрізняти це поняття від коваріації випадкового вектора $\mathbf {X}$, яку розуміють як матрицю коваріацій між скалярними складовими самого $\mathbf {X}$.

В обробці сигналів взаємну коваріацію часто називають взаємною кореляцією, й вона є мірою подібності двох сигналів, яку зазвичай використовують для пошуку ознак (англ. features) у невідомому сигналі шляхом порівняння його з відомим. Вона є функцією відносного часу між сигналами, іноді носить назву ковзного скалярного добутку (англ. sliding dot product), й має застосування в розпізнаванні образів та криптоаналізі .

Взаємна коваріація стохастичних процесів

Визначення взаємної коваріації випадкових векторів можна узагальнити на випадкові процеси наступним чином:

Визначення

Нехай $\{X(t)\}$ та $\{Y(t)\}$ позначують випадкові процеси. Тоді взаємну коваріаційну функцію цих процесів $K_{XY}$ визначають як^:с.172

$\operatorname {K} _{XY}(t_{1},t_{2}){\stackrel {\mathrm {def} }{=}}\ \operatorname {cov} (X_{t_{1}},Y_{t_{2}})=\operatorname {E} \left[\left(X(t_{1})-\mu _{X}(t_{1})\right)\left(Y(t_{2})-\mu _{Y}(t_{2})\right)\right]$

(1)

де $\mu _{X}(t)=\operatorname {E} \left[X(t)\right]$, а $\mu _{Y}(t)=\operatorname {E} \left[Y(t)\right]$.

Якщо ці процеси є комплекснозначними випадковими процесами, то другий множник потребує комплексного спряження:

$\operatorname {K} _{XY}(t_{1},t_{2}){\stackrel {\mathrm {def} }{=}}\ \operatorname {cov} (X_{t_{1}},Y_{t_{2}})=\operatorname {E} \left[\left(X(t_{1})-\mu _{X}(t_{1})\right){\overline {\left(Y(t_{2})-\mu _{Y}(t_{2})\right)}}\right]$

Визначення для спільно СШС процесів

Якщо $\left\{X_{t}\right\}$ та $\left\{Y_{t}\right\}$ є спільно стаціонарними в широкому сенсі, то справедливим є наступне:

$\mu _{X}(t_{1})=\mu _{X}(t_{2})\triangleq \mu _{X}$ для всіх $t_{1},t_{2}$,

$\mu _{Y}(t_{1})=\mu _{Y}(t_{2})\triangleq \mu _{Y}$ для всіх $t_{1},t_{2}$

і

$\operatorname {K} _{XY}(t_{1},t_{2})=\operatorname {K} _{XY}(t_{2}-t_{1},0)$ для всіх $t_{1},t_{2}$

Поклавши $\tau =t_{2}-t_{1}$ (запізнювання в часі, англ. time lag, або кількість часу, на яку було зміщено сигнал), ми можемо визначити

$\operatorname {K} _{XY}(\tau )=\operatorname {K} _{XY}(t_{2}-t_{1})\triangleq \operatorname {K} _{XY}(t_{1},t_{2})$.

Таким чином, взаємна коваріаційна функція двох спільно СШС процесів задається як

$\operatorname {K} _{XY}(\tau )=\operatorname {cov} (X_{t},Y_{t-\tau })=\operatorname {E} [(X_{t}-\mu _{X})(Y_{t-\tau }-\mu _{Y})]=\operatorname {E} [X_{t}Y_{t-\tau }]-\mu _{X}\mu _{Y}$

(2)

що рівнозначне

$\operatorname {K} _{XY}(\tau )=\operatorname {cov} (X_{t+\tau },Y_{t})=\operatorname {E} [(X_{t+\tau }-\mu _{X})(Y_{t}-\mu _{Y})]=\operatorname {E} [X_{t+\tau }Y_{t}]-\mu _{X}\mu _{Y}$.

Некорельованість

Два стохастичні процеси $\left\{X_{t}\right\}$ та $\left\{Y_{t}\right\}$ називають некорельо́ваними (англ. uncorrelated), якщо їхня коваріація $\operatorname {K} _{\mathbf {X} \mathbf {Y} }(t_{1},t_{2})$ є нульовою для всіх моментів часу.^:с.142 Формально:

$\left\{X_{t}\right\},\left\{Y_{t}\right\}$ некорельовані $\quad \iff \quad \operatorname {K} _{\mathbf {X} \mathbf {Y} }(t_{1},t_{2})=0\quad \forall t_{1},t_{2}$.

Взаємна коваріація детермінованих сигналів

Взаємна коваріація також важлива в обробці сигналів, де взаємну коваріацію між двома стаціонарними в широкому сенсі випадковими процесами можливо оцінювати шляхом усереднювання добутку зразків, виміряних за одним процесом, і зразків, виміряних за іншим (та його зсувами в часі). Зразки, включені до усереднювання, можуть бути довільною підмножиною всіх зразків у сигналі (наприклад, зразки в межах скінченного часового вікна, або підвибірка одного з сигналів). За великої кількості зразків це усереднення збігається до істинної коваріації.

Під взаємною коваріацією також можуть мати на увазі «детерміно́вану» взає́мну коваріа́цію (англ. "deterministic" cross-covariance) між двома сигналами. Вона складається з підсумовування над усіма часовими індексами. Наприклад, для дискретночасових сигналів $f[k]$ та $g[k]$ взаємну коваріацію визначають як

$(f\star g)[n]\ {\stackrel {\mathrm {def} }{=}}\ \sum _{k\in \mathbb {Z} }{\overline {f[k]}}g[n+k]=\sum _{k\in \mathbb {Z} }{\overline {f[k-n]}}g[k]$

де лінія вказує на взяття комплексного спряження, коли сигнали комплекснозначні.

Для неперервних функцій $f(x)$ та $g(x)$ (детерміновану) взаємну коваріацію визначають як

$(f\star g)(x)\ {\stackrel {\mathrm {def} }{=}}\ \int {\overline {f(t)}}g(x+t)\,dt=\int {\overline {f(t-x)}}g(t)\,dt$.

Властивості

(Детермінована) взаємна коваріація двох неперервних сигналів пов'язана зі згорткою через

$(f\star g)(t)=({\overline {f(-\tau )}}*g(\tau ))(t)$

а (детермінована) взаємна коваріація двох дискретночасових сигналів пов'язана з дискретною згорткою через

$(f\star g)[n]=({\overline {f[-k]}}*g[k])[n]$.

Див. також

• Автоковаріація
• Автокореляція
• Кореляція
• Згортка
• Взаємна кореляція

Посилання

• Взаємна кореляція від Mathworld (англ.)
• http://scribblethink.org/Work/nvisionInterface/nip.html (англ.)
• http://www.phys.ufl.edu/LIGO/stochastic/sign05.pdf (англ.)
• http://www.staff.ncl.ac.uk/oliver.hinton/eee305/Chapter6.pdf (англ.)