Взаємна коваріація

Див. також: Взаємна кореляція

У теорії ймовірностей та статистиці для заданих двох стохастичних процесів $\left\{X_{t}\right\}$ та $\left\{Y_{t}\right\}$ , взає́мна коваріа́ція (англ. cross-covariance) — це функція, яка дає коваріацію одного процесу з іншим у пари моментів часу. За звичайного позначення $\operatorname {E}$ для оператора математичного сподівання, якщо процеси мають функції середнього значення $\mu _{X}(t)=\operatorname {\operatorname {E} } [X_{t}]$ та $\mu _{Y}(t)=\operatorname {E} [Y_{t}]$ , то перехресну коваріацію задають як

\operatorname {K} _{XY}(t_{1},t_{2})=\operatorname {cov} (X_{t_{1}},Y_{t_{2}})=\operatorname {E} [(X_{t_{1}}-\mu _{X}(t_{1}))(Y_{t_{2}}-\mu _{Y}(t_{2}))]=\operatorname {E} [X_{t_{1}}Y_{t_{2}}]-\mu _{X}(t_{1})\mu _{Y}(t_{2}).\,

Взаємна коваріація пов'язана із ширше вживаною взаємною кореляцією процесів, про які йде мова.

У випадку двох випадкових векторів $\mathbf {X} =(X_{1},X_{2},\ldots ,X_{p})^{\rm {T}}$ та $\mathbf {Y} =(Y_{1},Y_{2},\ldots ,Y_{q})^{\rm {T}}$ взаємною коваріацією буде матриця $\operatorname {K} _{XY}$ розміру $p\times q$ (яку часто позначують через $\operatorname {cov} (X,Y)$ ) з елементами $\operatorname {K} _{XY}(j,k)=\operatorname {cov} (X_{j},Y_{k}).\,$ Таким чином, термін взаємна коваріація використовують для того, щоб відрізняти це поняття від коваріації випадкового вектора $\mathbf {X}$ , яку розуміють як матрицю коваріацій між скалярними складовими самого $\mathbf {X}$ .

В обробці сигналів взаємну коваріацію часто називають взаємною кореляцією, й вона є мірою подібності двох сигналів, яку зазвичай використовують для пошуку ознак (англ. features) у невідомому сигналі шляхом порівняння його з відомим. Вона є функцією відносного часу між сигналами, іноді носить назву ковзного скалярного добутку (англ. sliding dot product), й має застосування в розпізнаванні образів та криптоаналізі .

Взаємна коваріація випадкових векторів

Докладніше: Взаємно коваріаційна матриця^[en]

Взаємна коваріація стохастичних процесів

Визначення взаємної коваріації випадкових векторів можна узагальнити на випадкові процеси наступним чином:

Визначення

Нехай $\{X(t)\}$ та $\{Y(t)\}$ позначують випадкові процеси. Тоді взаємну коваріаційну функцію цих процесів $K_{XY}$ визначають як^[1]^:с.172

$\operatorname {K} _{XY}(t_{1},t_{2}){\stackrel {\mathrm {def} }{=}}\ \operatorname {cov} (X_{t_{1}},Y_{t_{2}})=\operatorname {E} \left[\left(X(t_{1})-\mu _{X}(t_{1})\right)\left(Y(t_{2})-\mu _{Y}(t_{2})\right)\right]$

(1)

де $\mu _{X}(t)=\operatorname {E} \left[X(t)\right]$ , а $\mu _{Y}(t)=\operatorname {E} \left[Y(t)\right]$ .

Якщо ці процеси є комплекснозначними випадковими процесами, то другий множник потребує комплексного спряження:

\operatorname {K} _{XY}(t_{1},t_{2}){\stackrel {\mathrm {def} }{=}}\ \operatorname {cov} (X_{t_{1}},Y_{t_{2}})=\operatorname {E} \left[\left(X(t_{1})-\mu _{X}(t_{1})\right){\overline {\left(Y(t_{2})-\mu _{Y}(t_{2})\right)}}\right]

Визначення для спільно СШС процесів

Якщо $\left\{X_{t}\right\}$ та $\left\{Y_{t}\right\}$ є спільно стаціонарними в широкому сенсі^[en], то справедливим є наступне:

\mu _{X}(t_{1})=\mu _{X}(t_{2})\triangleq \mu _{X}

для всіх

t_{1},t_{2}

,

\mu _{Y}(t_{1})=\mu _{Y}(t_{2})\triangleq \mu _{Y}

для всіх

t_{1},t_{2}

і

\operatorname {K} _{XY}(t_{1},t_{2})=\operatorname {K} _{XY}(t_{2}-t_{1},0)

для всіх

t_{1},t_{2}

Поклавши $\tau =t_{2}-t_{1}$ (запізнювання в часі, англ. time lag, або кількість часу, на яку було зміщено сигнал), ми можемо визначити

\operatorname {K} _{XY}(\tau )=\operatorname {K} _{XY}(t_{2}-t_{1})\triangleq \operatorname {K} _{XY}(t_{1},t_{2})

.

Таким чином, взаємна коваріаційна функція двох спільно СШС процесів задається як

$\operatorname {K} _{XY}(\tau )=\operatorname {cov} (X_{t},Y_{t-\tau })=\operatorname {E} [(X_{t}-\mu _{X})(Y_{t-\tau }-\mu _{Y})]=\operatorname {E} [X_{t}Y_{t-\tau }]-\mu _{X}\mu _{Y}$

(2)

що рівнозначне

\operatorname {K} _{XY}(\tau )=\operatorname {cov} (X_{t+\tau },Y_{t})=\operatorname {E} [(X_{t+\tau }-\mu _{X})(Y_{t}-\mu _{Y})]=\operatorname {E} [X_{t+\tau }Y_{t}]-\mu _{X}\mu _{Y}

.

Некорельованість

Два стохастичні процеси $\left\{X_{t}\right\}$ та $\left\{Y_{t}\right\}$ називають некорельо́ваними (англ. uncorrelated), якщо їхня коваріація $\operatorname {K} _{\mathbf {X} \mathbf {Y} }(t_{1},t_{2})$ є нульовою для всіх моментів часу.^[1]^:с.142 Формально:

\left\{X_{t}\right\},\left\{Y_{t}\right\}

некорельовані

\quad \iff \quad \operatorname {K} _{\mathbf {X} \mathbf {Y} }(t_{1},t_{2})=0\quad \forall t_{1},t_{2}

.

Взаємна коваріація детермінованих сигналів

Взаємна коваріація також важлива в обробці сигналів, де взаємну коваріацію між двома стаціонарними в широкому сенсі випадковими процесами можливо оцінювати шляхом усереднювання добутку зразків, виміряних за одним процесом, і зразків, виміряних за іншим (та його зсувами в часі). Зразки, включені до усереднювання, можуть бути довільною підмножиною всіх зразків у сигналі (наприклад, зразки в межах скінченного часового вікна, або підвибірка одного з сигналів). За великої кількості зразків це усереднення збігається до істинної коваріації.

Під взаємною коваріацією також можуть мати на увазі «детерміно́вану» взає́мну коваріа́цію (англ. "deterministic" cross-covariance) між двома сигналами. Вона складається з підсумовування над усіма часовими індексами. Наприклад, для дискретночасових^[en] сигналів $f[k]$ та $g[k]$ взаємну коваріацію визначають як

(f\star g)[n]\ {\stackrel {\mathrm {def} }{=}}\ \sum _{k\in \mathbb {Z} }{\overline {f[k]}}g[n+k]=\sum _{k\in \mathbb {Z} }{\overline {f[k-n]}}g[k]

де лінія вказує на взяття комплексного спряження, коли сигнали комплекснозначні.

Для неперервних функцій $f(x)$ та $g(x)$ (детерміновану) взаємну коваріацію визначають як

(f\star g)(x)\ {\stackrel {\mathrm {def} }{=}}\ \int {\overline {f(t)}}g(x+t)\,dt=\int {\overline {f(t-x)}}g(t)\,dt

.

Властивості

(Детермінована) взаємна коваріація двох неперервних сигналів пов'язана зі згорткою через

(f\star g)(t)=({\overline {f(-\tau )}}*g(\tau ))(t)

а (детермінована) взаємна коваріація двох дискретночасових сигналів пов'язана з дискретною згорткою^[en] через

(f\star g)[n]=({\overline {f[-k]}}*g[k])[n]

.

Див. також

Примітки

↑ ^а ^б Kun Il Park, Fundamentals of Probability and Stochastic Processes with Applications to Communications, Springer, 2018, 978-3-319-68074-3 (англ.)

Посилання

Взаємна кореляція від Mathworld [Архівовано 30 серпня 2020 у Wayback Machine.] (англ.)
http://scribblethink.org/Work/nvisionInterface/nip.html [Архівовано 22 квітня 2022 у Wayback Machine.] (англ.)
http://www.phys.ufl.edu/LIGO/stochastic/sign05.pdf [Архівовано 9 серпня 2016 у Wayback Machine.] (англ.)
http://www.staff.ncl.ac.uk/oliver.hinton/eee305/Chapter6.pdf [Архівовано 1 серпня 2020 у Wayback Machine.] (англ.)

[KunIlPark-1] а ^б Kun Il Park, Fundamentals of Probability and Stochastic Processes with Applications to Communications, Springer, 2018, 978-3-319-68074-3 (англ.)

[1]