Псевдообернена матриця

Псевдообернена матриця — узагальнення оберненої матриці в математиці, зокрема, в лінійній алгебрі.

Матриця, псевдообернена до матриці $\ A$ позначаєтся як $\ A^+$.

Найвідомішим є псевдообернення Мура-Пенроуза, яке було незалежно описано Е. Х. Муром (Moore) в 1920 і Роджером Пенроузом в 1955.

Раніше, в 1903 році, концепцію псевдообернених інтегруючих операторів представив Фредгольм.

Псевдообернена матриця застосовується для знаходження найкращого наближення (методом найменших квадратів) розв'язку СЛАР.

Визначення

Визначення Мура

$\ A^+$ називаєтся псевдооберненою матрицею до матриці $\ A$, якщо вона задовільняє такі критерії:

1. $A A^+A = A$             ($A A^+$ чи $A^+A$ не обов'язково дорівнюватимуть одиничній матриці);
2. $A^+A A^+ = A^+;$
3. $(AA^+)^* = AA^+$       (це означає, що $AA^+$ — ермітова матриця);
4. $(A^+A)^* = A^+A$       ($A^+A$ — також ермітова матриця);

де $A^*$ - ермітово-спряжена матриця до матриці $A$.

Визначення Мура-Пенроуза через граничний перехід

$A^+ = \lim_{\delta \to 0} (A^* A + \delta I)^{-1} A^* = \lim_{\delta \to 0} A^* (A A^* + \delta I)^{-1}$

Ці границі існують, навіть якщо $(A A^*)^{-1}$ і $(A^* A)^{-1}$ не визначені.

Властивості

• Псевдообернена матриця завжди існує і вона єдина.
• Псевдообернення нульової матриці дорівнює її транспонуванню.
• Псевдообернення є оборотним до самого себе:

$(A^+)^+ = A$.

• Псевдообернення комутує з транспонуванням, спряженням і ермітовим спряженням:

$(A^T)^+ = (A^+)^T, \qquad (\overline{A})^+ = \overline{A^+}, \qquad (A^*)^+ = (A^+)^*.$

• Ранг матриці дорівнює рангу її псевдооберненої:

$rank\ A^+ = rank\ A$

• Псевдообернення добутку матриці $A$ на скаляр $\alpha$ дорівнює добутку матриці $A^+$ на обернене число $\alpha^{-1}$:

$(\alpha A)^+ = \alpha^{-1} \; A^+, \quad \forall \alpha \ne 0$.

• Якщо вже відома матриця $(A^*A)^+$ чи матриця $(AA^*)^+$, то їх можна використати для обчислення $A^+$:

$A^+ = (A^*A)^+ \; A^*$

$A^+ = A^* \; (AA^*)^+$.

• Матриці $\ A^+ A, \; A A^+$ — є ортогонально-проекційними матрицями.
• Якщо матриця $\ A_i$ утворена з матриці $\ A$ за допомогою вставки ще одного нульового рядка/стовпця в і-ту позицію,

то $A_i^+$ буде утворюватись з $\ A^+$ добавленням нульового стовпця/рядка в і-ту позицію.

• Якщо рядок/стовпець в попередній процедурі не є нульовим $a_i \ne \vec 0$, то існує формула Гревіля для вираження $A_i^+$ через $A, \; A^+, \; a_i.$

Часткові випадки

Ортонормовані стовпці чи рядки

• Якщо в матриці $A$ ортонормовані стовпці ($A^* A = I$), або рядки ($A A^* = I$), то:

$A^+ = A^*$.

Повний ранг

• Якщо стовпці матриці $A$ лінійно незалежні, тоді матриця $(A^* A)$ має повний ранг, а отже є оборотною. Тоді:

$A^+ = (A^* A)^{-1} A^*$

Отже $A^+ A = I$, звідки слідує, що $A^+$ — ліва обернена матриця для A.

• Якщо рядки матриці $A$ лінійно незалежні, тоді матриця $(A A^*)$ має повний ранг, а отже є оборотною. Тоді:

$A^+ = A^*(A A^*)^{-1}$

Отже $A A^+ = I$, звідки слідує, що $A^+$ — права обернена матриця для A.

• Якщо і стовпці і рядки лінійно незалежні (що вірно для квадратних невирождених матриць), тоді:

$A^+ = A^{-1}.$

Ці часткові випадки еквівалентні прибиранню доданка $\delta I \!$ з формули визначення псевдообернення через граничний перехід.

Псевдообернення добутку

Якщо матриці $A$ і $B$ такі, что добуток $AB$ визначений, а також:

• або A має ортонормовані стовпці ($A^+=A^*$),
• або B має ортонормовані рядки ($B^+=B^*$),
• або стовці $A$ линійно незалежні($A^+ A = I$) і рядки $B$ линійно незалежні($B B^+ = I$).

Тоді:

$\ (AB)^+ = B^+ A^+$.

Доводиться прямою підстановкою в визначення.

Скаляри і вектори

Псевдообернення можна визначити для скалярів і векторів, якщо трактувати їх як матриці:

• Псевдообернення скаляра $x$ є скаляр

$x^+ = \left\{\begin{matrix} 0, & x=0; \\ x^{-1}, & x \ne 0. \end{matrix}\right.$

• Псевдообернення вектора $x$ є вектор

$x^+ = \left\{\begin{matrix} 0^T, & x = 0; \\ {x^* \over x^* x}, & x \ne 0. \end{matrix}\right.$

Дані трактування задовільняють визначення псевдообернення.

Обчислення

За допомогою A=BC розкладу

Нехай r — ранг матриці A розміру $m \times n$. Тоді A може бути представлена як $A = BC$, де B — матриця розміру $m \times r$, C — матриця розміру $r \times n$. Тоді

• $A^+ = C^*(CC^*)^{-1}(B^*B)^{-1}B^*.$

чи

• $A^+ = C^*(B^*AC^*)^{-1}B^*$

де $(CC^*)^{-1}(B^*B)^{-1} = (B^*BCC^*)^{-1} = (B^*AC^*)^{-1}$ — матриця меньшого розміру $r \times r$.

За допомогою QR розкладу

Матрицю A представимо у вигляді $A = QR$, де Q - унітарна матриця, $Q^*Q = QQ^* = I$, і R - верхня трикутна матриця. Тоді

$A^*A=(QR)^*(QR)=R^*Q^*QR=R^*R$,

$A^+ = (R^*R)^+ A^*$

…

За допомогою SVD розкладу

Якщо $A = U\Sigma V^*$ — сингулярне представлення матриці A, тоді

$A^+ = V\Sigma^+ U^*.$

Для діагональної матриці, такої як $\Sigma$, псевдообернена матриця обчислюється заміною всіх ненульових значень діагональних елементів на обернені.

За допомогою мінорів

Нехай k - ранг матриці A розміру $m \times n$.

Позначимо через $A_k \!$ матрицю складену з k лінійно незалежних стовпців матриці A,
через $A_{\overline{k}}$ позначимо матрицю з k лінійно незалежних рядків матриці A,
через $A_{kk \!}$ матрицю з елементів на перетині $A_k \!$ з $A_{\overline{k}}$.

Тоді

$A^+ = A_{\overline{k}}^*(A_{\overline{k}} A_{\overline{k}}^*)^{-1} \cdot A_{kk} \cdot (A_k^*A_k)^{-1}A_k^*$

Застосування до СЛАР

• Система рівнянь $\ A x = b$ може не мати точних розв'язків, але можна знайти приблизні розв'язки — такі $\ x$ при яких мінімізується $\|A x - b\|^2.$ Це розв'язок методом найменших квадратів.

• Загальний розв'язок системи $\ A x = b$ є сумою часткового розв'язку цієї системи та загального розв'язку однорідної системи $\ A x = 0.$

• За визначенням, загальний розв'язок системи $Ax=0 \!$ — це ядро лінійного оператора ${A} \!$:

$\ker {A} = Z(A)y\!$

де:

$Z(A)=I-A^+A \!$      (проектор на $\ker {A} \!$);

$y \!$ — довільний вектор тієї ж розмірності що і $x.\!$

• Частковим розв'язком неоднорідної системи є $\ x=A^+b,$ він ортогональний до $\ker {A}\!$ і тому має найменшу норму серед всіх розв'язків.

• Загальний розвязок

$\ A x = b$	єдиний розв'язок $\det {A^*A} \ne 0 \!$	множина розв'язків $\det {A^*A} = 0 \!$
точні розв'язки є $b^*Z(A)b = 0 \!$	$x=A^+b \!$	$\Omega_x=A^+b + \ker {A} \!$
тільки приблизні розв'язки $b^*Z(A)b \ne 0 \!$

• Відстань від довільної точки $\ y$ до множини розв'язків $\ \Omega_x$ рівна:

$\| P(A)(y - A^+ b) \| = \| P(A)y - A^+ b \| = \| A^+(Ay-b) \|,$

де:

$P(A)=I-Z(A) \!$      (проектор ортогональний до $\ \ker {A}$).

Джерела

• Гантмахер Ф. Р. «III», Теория матриц друге. — С. 576 с.. — Москва : Наука, 1967.
• Adi Ben-Israel, Thomas N.E. Greville Generalized Inverses. Theory and Applications друге. — С. 436 с.. — Springer, 2003.