Фундаментальна матриця (комп'ютерний зір)

У комп'ютерному зорі фундаментальна матриця $\mathbf {F}$ - матриця 3 × 3, яка пов'язує відповідні точки у стереозображеннях. В епіполярній геометрії з однорідними координатами для координат x і x ′ відповідних точок у парі стереозображень Fx описує лінію (епіполярну лінію), на якій повинна лежати відповідна точка x ′ іншого зображення. Це означає, що для всіх пар відповідних точок має місце

$\mathbf {x} '^{\top }\mathbf {Fx} =0.$

Матрицю оцінюють з урахуванням щонайменше семи точкових відповідностей. Сім параметрів визначають єдину геометричну інформацію про камери, яку можна отримати лише за допомогою точкових відповідностей.

Термін «фундаментальна матриця» був введений QT Луонгом у кандидатській дисертації. Цю матрицю іноді також називають "біфокальним тензором". Це двоточковий тензор, що є білінійною формою, яка повʼязує точки у різних системах координат.

Вищезазначене співвідношення, яке визначає фундаментальну матрицю, було опубліковано в 1992 р Олів'є Фаугерасом і Річардом Хартлі. Хоча істотна матриця Крістофера Лонге Хіггінса задовольняє аналогічній умові, істотна матриця являє собою метрику об'єкта, що відповідає каліброваним камерам, в той час як фундаментальна матриця описує відповідність в більш загальних і фундаментальних термінах проективної геометрії. Математично співвідношення між фундаментальною матрицею $\mathbf {F}$ та відповідною їй істотною матрицю $\mathbf {E}$ можна виразити як

$\mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K}$

$\mathbf {K}$ і $\mathbf {K} '$ є внутрішньою матрицею калібрування двох задіяних зображень.

Вступ

Фундаментальна матриця встановлює звʼязок між будь-якими двома зображеннями однієї і тієї ж сцени обмежуючи можливі координати проєкції точок сцени на обох зображеннях. Взявши проєкцію сцени на одне із зображень, відповідна точка на іншому зображенні може лежати лише на певній лінії, що полегшує пошук та дозволяє виявляти неправильні відповідності. Відношення між відповідними точками зображення, які представляє основна матриця, називається епіполярним обмеженням, обмеженням відповідності.

Теорема про проективну реконструкцію

Фундаментальну матрицю можна визначити набором точкових відповідностей. Крім того, ці відповідні точки зображення можуть бути триангульовані для визначення координат точки у 3Д просторі за допомогою матриць камер, отриманих безпосередньо з цієї фундаментальної матриці. Сцена, складена з цих точок, знаходиться в межах проективного перетворення справжньої сцени.

Доведення

Вважатимемо, що відповідні точки двох зображень $\mathbf {x} \leftrightarrow \mathbf {x'}$ яким відповідає точка ${\textbf {X}}$ на сцені отримано за допомогою камер із матрицям $\left({\textbf {P}},{\textbf {P}}'\right)$, тобто

${\begin{aligned}\mathbf {x} &={\textbf {P}}{\textbf {X}}\\\mathbf {x'} &={\textbf {P}}'{\textbf {X}}\end{aligned}}$

Введемо перетворення простору загальною матрицею гомографії ${\textbf {H}}_{4\times 4}$ як ${\textbf {X}}_{0}={\textbf {H}}{\textbf {X}}$.

Тоді перетворення камер

${\begin{aligned}{\textbf {P}}_{0}&={\textbf {P}}{\textbf {H}}^{-1}\\{\textbf {P}}_{0}'&={\textbf {P}}'{\textbf {H}}^{-1}\end{aligned}}$

${\textbf {P}}_{0}{\textbf {X}}_{0}={\textbf {P}}{\textbf {H}}^{-1}{\textbf {H}}{\textbf {X}}={\textbf {P}}{\textbf {X}}=\mathbf {x}$ і так само з ${\textbf {P}}_{0}'$ ми все щє отримуємо ті самі точки

Виведення фундаментальної матриці з використанням умови копланарності

Фундаментальну матрицю можна також отримати, використовуючи умову копланарності.

Методи знаходження

Якщо відомо що найменш вісім відповідних точок зображень, для знаходження фундаментальної матриці може бути використано восьмиточковий алгоритм.

Властивості

Фундаментальна матриця має ранг 2. Його ядро визначає епіполь.

Використання

Зазвичай фундаментальна матриця використовується для спрощєння пошуку відповідностей між двома зображеннями. Пошук відповідної точки зображення можна вести або увздовж епіполярної лінії на іншому зображенні, або ж зображення можна ректифікувати і вести пошук лише за однїєю координатою. Відновлення тривимірного положення точок із використанням лише фундаментальної матриці неможливе (в межах проективної невизначеності). Однак якщо відома інформація про параметри камери (фокусна відстань та принципова точка) то з фундаментальної матриці можна отримати істотну матрицю розклад якої дозволяє отримати інформацію про відносні положення та орієнтації камер, після чого стає можливим виконати тріангуляцію точок.

Щє

Пісня про фундаментальну матрицю на youtube(англ).

Див. також

• Епіполярна геометрія
• Восьмиточковий алгоритм
• Істотна матриця
• Трифокальний тензор

Посилання

• Faugeras, Olivier D (1992). What can be seen in three dimensions with an uncalibrated stereo rig? (PDF). Proceedings of European Conference on Computer Vision. doi:10.1007/3-540-55426-2_61.

• Faugeras, Olivier D; Q.T. Luong; Steven Maybank (1992). Camera self-calibration: Theory and experiments. Proceedings of European Conference on Computer Vision. doi:10.1007/3-540-55426-2_37.

• Q.T. Luong and Olivier D. Faugeras (1996). The Fundamental Matrix: Theory, Algorithms, and Stability Analysis. International Journal of Computer Vision. 17 (1): 43—75. doi:10.1007/BF00127818.

• Olivier Faugeras and Q.T. Luong (2001). The Geometry of Multiple Images. MIT Press. ISBN 978-0-262-06220-6.

• Richard I. Hartley (1992). Estimation of relative camera positions for uncalibrated cameras (PDF). Proceedings of European Conference on Computer Vision.

• Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in computer vision. Cambridge University Press. ISBN 978-0-521-54051-3.

• Richard I. Hartley (1997). In Defense of the Eight-Point Algorithm. IEEE Transactions on Pattern Analysis and Machine Intelligence. 19 (6): 580—593. doi:10.1109/34.601246.

• Nurollah Tatar (2019). Stereo rectification of pushbroom satellite images by robustly estimating the fundamental matrix. International Journal of Remote Sensing. 40 (20): 1—19. doi:10.1080/01431161.2019.1624862.

• Q.T. Luong (1992). Matrice fondamentale et auto-calibration en vision par ordinateur. PhD Thesis, University of Paris, Orsay.

• Yi Ma; Stefano Soatto; Jana Košecká; S. Shankar Sastry (2004). An Invitation to 3-D Vision. Springer. ISBN 978-0-387-00893-6.

• Marc Pollefeys, Reinhard Koch and Luc van Gool (1999). Self-Calibration and Metric Reconstruction in spite of Varying and Unknown Intrinsic Camera Parameters. International Journal of Computer Vision. 32 (1): 7—25. doi:10.1023/A:1008109111715.

• Philip H. S. Torr (1997). The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix. International Journal of Computer Vision. 24 (3): 271—300. doi:10.1023/A:1007927408552.

• Philip H. S. Torr and A. Zisserman (2000). MLESAC: A New Robust Estimator with Application to Estimating Image Geometry. Computer Vision and Image Understanding. 78 (1): 138—156. doi:10.1006/cviu.1999.0832.

• Gang Xu and Zhengyou Zhang (1996). Epipolar geometry in Stereo, Motion and Object Recognition. Kluwer Academic Publishers. ISBN 978-0-7923-4199-4.

• Zhengyou Zhang (1998). Determining the epipolar geometry and its uncertainty: A review. International Journal of Computer Vision. 27 (2): 161—195. doi:10.1023/A:1007941100561.