Фотометричне стерео

Фотометричне стерео аналізує кілька зображень об’єкта за різних умов освітлення, щоб оцінити напрямок вектору нормалі для кожного пікселя.

Фотометричне стерео - це техніка комп’ютерного зору для визначення нормалей поверхні об’єктів шляхом порівняння зображень цих об’єктів отриманих за різних умов освітлення. Він заснований на тому, що кількість світла, відбитого поверхнею, залежить від орієнтації поверхні щодо джерела світла та спостерігача. Співставляючи яскравість одних і тих самих точок об’єктів за різних положень джерела світла простір можливих орієнтацій поверхні в цих точках обмежується. При достатній кількості зображень напрямок вектору нормалі може буди визначений досить точно.

Вперше цю техніку було запропонована Вудхемом у 1980 р. Частинний випадок, коли наявне лише одне зображення, називається формою із затінення.

Базовий підхід

За припущеннями Вудхема відбиття вважається ламбертівським, положення точкових віддалених джерел світла відоме, а альбедо поверхні вважається рівномірним. Умова віддаленості точкових джерел дозволяє вважати, що вектор напрямку світла для кожного джерела однаковий для всіх точок поверхні. За цих умов задачу можна вирішити шляхом обернення лінійного рівняння $I=L\cdot n$, де $I$ є (відомим) вектором $m$ спостережуваних інтенсивностей, $n$ - вектор нормалі (невідомий) поверхні, і $L$ є (відомою) $3\times m$ матрицею нормованих напрямків світла.

Цю модель можна легко поширити на поверхні з нерівномірним альбедо, зберігаючи задачу лінійною. Враховуючи нерівномірне альбедо $k$, формула інтенсивності відбитого світла має вигляд

$I=k(L\cdot n)$

Якщо $L$ є квадратною (є рівно 3 джерела світла) і неодиничною, її можна побернути:

$L^{-1}I=kn$

Оскільки вектор нормалі, як відомо, має довжину 1, $k$ є довжиною вектора $kn$, а $n$ - нормований напрямок цього вектора. Якщо $L$ не є квадратною (більше 3-х джерел), для узагальнення обернення можна використати псевдообернення Мура-Пенроуза , помноживши обидві частини рівняння на $L^{T}$:

$L^{T}I=L^{T}k(L\cdot n)$

$(L^{T}L)^{-1}L^{T}I=kn$

Тепер вектор нормалі і альбедо можуть бути визначені.

Класичне фотометричне стерео враховує лише ламбертівські поверхні з ідеально розсіяним відбиттям. Це неправильно для багатьох типів матеріалів, особливо металів, скла та полірованих пластмас, і призведе до помилок у визначенні результуючих напрямків нормалей.

Для вирішення цієї проблеми розроблено багато методів. У цьому розділі перелічено декілька з них.

Дзеркальні відбиття

В комп'ютерній графіці найпершою та найпростішою моделлю для затінення поверхонь була модель ламбертівського відбиття, надалі її було узагальнено шляхом урахування дзеркального відбиття . Еволюція методів фотометричного стерео йшла схожим шляхом. Урахування дзеркальних відбиттів було одним з перших узагальнень моделі ламбертівського освітлення. Зазвичай ці методи покладаються на моделювання функції відбиття поверхні, тобто, залежності інтенсивності відбитого світла від напрямку. Ця функція відбиття повинна бути оборотною. Вимірюється інтенсивність відбитого світла у напрямку камери, а обернена функція відбиття підлаштовується під виміряні інтенсивності, що призводить до унікального розв'язку для вектора нормалі.

Узагальнені ДФВЗ та не тільки

Згідно з функцією двопроменевого розподілу відбивної здатності (ДФВЗ), поверхня може відбивати певну частину падаючого світла у будь-якому напрямку. Це найбільш загальна відома модель для непрозорих поверхонь. На практиці використання узагальнених моделей вимагає багатьох джерел світла для надійного визнечення параметрів моделі відбиття. Деякі підходи що використовують узагальнену ДФВЗ:

• Визначення ДФВЗ функції. Для цього використовується інша поверхня геометрія якої відома і яка має однакову або дуже подібну ДФВЗ. За різних напрямків падаючого світла визначаєьться інтенсивніть світла відбитого у напрямку камери. Використовуючи цю інформацію, можна створити пошукову таблицю, яка співставляє інтенсивності відбитого світла до переліку можливих векторів нормалі. Це накладає обмеження на орієнтації які може мати поверхня. Типовими відомими поверхнями, за допомогою яких можна відкалібрувати цю таблицю є сфери.
• Урахування симетрії. Якщо ДФВЗ є симетричною, напрямок світла може бути обмежений конусом щодо напрямку до камери. Який це конус, залежить від самої ДФВЗ, вектору нормалі поверхні та виміряної інтенсивності. Враховуючи достатню кількість вимірів інтенсивності та відомих напрямків світла, ці конуси можна апроксимувати і, отже, знайти вектори нормалі.

Багатовидове фотометричне стерео

В найпростішому випадку положення камери та об’єктів вважаються незмінними для всіх зображень, змінюється лише положення та напрямок джерела світла. Частини геометрії об’єктів, що не потрапляють в поле зору камери не можуть бути відновлені. Для відновлення повної геометрії слід використовувати зображення об’єктів отримані за різних положень камери поєднуючи інформацію про орієнтацію поверхонь отриману за допомогою фотометричного підходу із інформацією про положення точок у просторі отриманих за допомогою тріангуляції.

Див. також

• Фотометрія
• Стерео бачення
• 3D-сканер