Користувач:SoprunVeronika/3D реконструкция

У комп'ютерному зорі та комп'ютерній графіці 3D-реконструкція-це процес захоплення форми і зовнішнього вигляду реальних об'єктів. Цей процес може бути здійснений або активними або пасивними методами.^[1] Якщо моделі дозволено змінювати свою форму в часі, це називається нежорсткою або просторово-тимчасовою реконструкцією.^[2]

Мотивація та програми[ред. | ред. код]

Дослідження 3D реконструкції завжди було важкою метою. За допомогою 3D-реконструкції можна визначити 3D-профіль будь-якого об'єкта, а також дізнатися 3D-координату точки на профілі. 3D реконструкція об'єктів є загально науковою проблемою і основною технологією широкого спектра областей, таких як автоматизоване проєктування (CAGD), комп'ютерна графіка, комп'ютерна анімація, комп'ютерний зір, медична візуалізація, обчислювальна наука, віртуальна реальність, цифрові медіа і т. д. Наприклад, інформація про ураження пацієнтів може бути представлена в 3D на комп'ютері, який пропонує новий і точний підхід в діагностиці і, таким чином, має життєво важливе клінічне значення.^[3] Цифрові моделі місцевості можуть бути відновлені за допомогою таких методів, як повітряна лазерна альтиметрія^[4] або радар із синтезованою апертурою.^[5]

Активні методи[ред. | ред. код]

Активні методи, тобто методи даних діапазону, враховуючи карту глибини, реконструюють 3D-профіль за допомогою чисельних методів і будують об'єкт в сценарії на основі моделі. Ці методи активно впливають на реконструйований об'єкт, або механічно, або радіометрично за допомогою далекомірів, щоб отримати карту глибини, наприклад, структуроване світло, лазерний далекомір та інші активні методи зондування. Простий приклад механічного методу буде використовувати глибиномір для вимірювання відстані до обертового об'єкта, поміщеного на поворотний стіл. Більш застосовані радіометричні методи випускають випромінювання в бік об'єкта, а потім вимірюють його відбиту частину. Приклади залежать від рухомих джерел світла, кольорового видимого світла, лазерів часу ^[6] до мікрохвиль або 3D-ультразвуку. Щоб отримати додаткові відомості див. розділ 3D-сканування.

Пасивні методи[ред. | ред. код]

Пасивні методи 3D-реконструкції не заважають реконструйованому об'єкту; вони тільки використовують датчик для вимірювання сяйва, відбитого або випущеного поверхнею об'єкта, щоб вивести його 3D-структуру через розуміння зображення.^[7] Як правило, датчик є зображенням в камері, чутливої до видимого світла, і вхідним сигналом для методу є набір цифрових зображень (одне, два або більше) або відео. В цьому випадку ми говоримо про реконструкцію на основі зображень, а вихід — це 3D-модель. У порівнянні з активними методами, пасивні методи можуть застосовуватися до найвищого кола ситуацій.

Методи монокулярних сигналів[ред. | ред. код]

Методи монокулярних сигналів відносяться до використання одного або декількох зображень з однієї точки зору (камери) для переходу до 3D-побудови. Він використовує 2D-характеристики (наприклад, силуети, затінення і текстуру) для вимірювання 3D-форми, і саме тому він також називається Shape-From-X, де X може бути силуетами, затіненням, текстурою і т. д. 3D-реконструкція з допомогою монокулярних сигналів проста і швидка, і потрібно тільки одне відповідне цифрове зображення, тому адекватна тільки одна камера. Технічно, це дозволяє уникнути стерео листування, яке є досить складним завданням.

Форма-затінення завдяки аналізу інформації про тінь на зображенні, за допомогою Ламбрівського відбивання, відновлюється глибина нормальної інформації поверхні об'єкта для реконструкції.^[9]

Фотометричне стерео цей підхід є складніший, ніж метод затінення форми. Зображення, зроблені в різних умовах освітлення, використовуються для вирішення інформації про глибину. Варто відзначити, що при такому підході потрібно більше одного зображення.^[10]

Форма текстури Припустимо, що об'єкт з гладкою поверхнею, вкритий реплицированими текстурними одиницями, і його проекція з 3D у 2D викликає спотворення і перспективу. Спотворення і перспектива, виміряні у 2D-зображеннях, дають підказку для зворотного вирішення глибини нормальної інформації поверхні об'єкта.^[11]

Бінокулярне стереобачення[ред. | ред. код]

Бінокулярне стереобачення отримує тривимірну геометричну інформацію про об'єкт з декількох зображень, основаних на дослідженні зорової системи людини. Результати представлені у вигляді карт глибини. Зображення об'єкта, отримані двома камерами одночасно під різними кутами огляду або однією камерою в різний час під різними кутами огляду, використовуються для відновлення його тривимірної геометричної інформації і відновлення його тривимірного профілю та місця розташування. Це пряміші методи, ніж монокулярні, такі як форма від затінення.

Метод бінокулярного стереобачення вимагає наявності двох однакових камер з паралельною оптичною віссю для спостереження одного і того ж об'єкта, отримання двох зображень з різних точок зору. З точки зору тригонометричних співвідношень, інформація про глибину може бути обчислена з диспаритету. Бінокулярний метод стереобачення добре розвинений і стабільно сприяє 3D реконструкції, що призводить до кращої продуктивності у порівнянні з іншими 3D-конструкціями. На жаль, це обчислювальне інтенсивно, до того ж він працює досить погано, коли базова відстань велика.

Постановка проблеми та основи[ред. | ред. код]

Підхід використання бінокулярного стереобачення для отримання тривимірної геометричної інформації об'єкта заснований на бінокулярній невідповідності. На наступному малюнку представлена принципова схема проста бінокулярного стереобачення з горизонтальним зором, де b - базова лінія між проєктивними центрами двох камер.

Початок координат камери знаходиться в оптичному центрі об'єктива камери, як показано на малюнку. Насправді площину зображення камери знаходять за оптичним центром об'єктива камери. Однак для спрощення розрахунку зображення розміщуються перед оптичним центром об'єктива f. Вісь u і вісь v системи координат зображення O₁uv знаходяться в одному напрямку з осями x і y системи координат камери відповідно. Початок координат зображення знаходиться на перетині площини зображення і оптичної осі. Припустимо, що така світова точка P, відповідні точки зображення якої є P ₁ (u ₁, v ₁) та P ₂ (u ₂, v ₂) відповідно на лівій і правій площині зображення. Припустимо, що дві камери знаходяться в одній площині, тоді Y-координати P₁ і P₂ ідентичні, тобто v₁=v₂. За тригонометричним співвідношенням,

$u_{1}=f{\frac {x_{p}}{z_{p}}}$

$u_{2}=f{\frac {x_{p}-b}{z_{p}}}$

$v_{1}=v_{2}=f{\frac {y_{p}}{z_{p}}}$

де (x _p, y _p, z _p) - координати P в лівій системі координат камери, f - фокусна відстань камери. Візуальна диспропорція визначається як різниця в місці розташування точки зображення певної точки світу, отриманої двома камерами,

$d=u_{1}-u_{2}=f{\frac {b}{z_{p}}}$

на підставі чого можуть бути розроблені координати P.

Тому, як тільки координати точок зображення відомі, крім параметрів двох камер, можна визначити тривимірну координату точки.

$x_{p}={\frac {bu_{1}}{d}}$

$y_{p}={\frac {bv_{1}}{d}}$

$z_{p}={\frac {bf}{d}}$

3D-реконструкція складається з наступних розділів:

Здобуття зображень[ред. | ред. код]

Отримання 2D цифрового зображення є джерелом інформації для 3D реконструкції. Зазвичай використовується 3D-реконструкція заснована на двох або більше зображеннях, хоча в деяких випадках вона може використовувати тільки одне зображення. Існують різні типи методів отримання зображень, які залежать від випадків і цілей конкретного додатка. Необхідно враховувати не тільки вимоги програми, але і візуальну невідповідність, освітленість, продуктивність камери і особливість сценарію.

Стандартизація камери[ред. | ред. код]

Калібрування камери в бінокулярному стереобаченні відноситься до визначення ставлення відбивання між точками зображення P ₁ (u ₁, v ₁) та P ₂ (u ₂, v ₂) та координатою простору P (x _p, y _p, z _p) в 3D-сценарії. Калібрування камери є основною та істотною частиною 3D-реконструкції за допомогою бінокулярного стереобачення.

Вилучення функції[ред. | ред. код]

Метою виділення ознак є отримання характеристик зображень, за допомогою процесів стерео листування. В результаті характеристики зображень тісно пов'язані з вибором методів зіставлення. Не існує такої універсально застосовної теорії виділення ознак, що призводить до великої різноманітності стерео відповідностей в дослідженнях бінокулярного стереобачення.

Стерео відповідність[ред. | ред. код]

Стерео відповідність полягає у встановленні відповідності між примітивними факторами в зображеннях, тобто для відповідності P ₁ (u ₁, v ₁) та P ₂ (u ₂, v ₂) з двох зображень. Слід звернути увагу на деякі фактори перешкод у сценарії, наприклад, освітлення, шум, фізичні характеристики поверхні і т. д.

Відновлення[ред. | ред. код]

Згідно з точною відповідності, суміщеного з параметрами положення камери, геометричну 3D інформацію можна взяти без труднощів. У зв'язку з тим, що точність 3D-реконструкції залежить від точності відповідності, похибки параметрів розташування камери і т. д., попередні процедури повинні бути виконані ретельно, щоб досягти точної 3D-реконструкції.

3D-реконструкція медичних зображень[ред. | ред. код]

Клінічна процедура діагностики, спостереження за пацієнтами, хірургічна операція за допомогою комп’ютера, хірургічне планування тощо сприяють точним 3D-моделям бажаної частини анатомії людини. Основна мотивація 3D реконструкції містить:

Підвищена точність завдяки багаторазовій агрегації.
Детальні оцінки поверхні.
Може використовуватися для планування, моделювання, керівництва чи іншим чином допомагати хірургу у виконанні медичної процедури.
Можна визначити точне положення та орієнтацію анатомії пацієнта.
Допомагає в ряді клінічних областей, таких як планування променевої терапії та перевірка лікування, хірургія хребта, заміна стегна, нейроінтервенції та аортальне стентування.

Додатки:

3D-реконструкція має застосування у багатьох сферах. В таких як:

Тротуарна техніка
Медицина
Реконструкція відеозображення на вільному огляді
Роботизоване картування
Містобудування
Томографічна реконструкція
Ігри
Віртуальне середовище та віртуальний туризм
Спостереження за Землею
Археологія
Розширена реальність
Реверсна техніка
Захоплення рухом
Розпізнавання жестів та відстеження руки

Постановка проблеми:

В основному алгоритми, доступні для 3D-реконструкції, надзвичайно повільні і не можуть використовуватися в реальному часі. Хоча представлені алгоритми все ще знаходяться в зародковому стані, але вони мають потенціал для швидкого обчислення.

Існуючі підходи:

Делоне і альфа-форми

Метод Делоне включає вилучення поверхонь тетраедра з початкової хмарної точки. Ідея «форми» для набору точок у просторі задається концепцією альфа-форм. Враховуючи множину кінцевих точок S та реальний параметр альфа, альфа-форма S - це багатогранник (узагальнення до будь-якого двовимірного багатокутника та тривимірного багатогранника), який не є ні опуклим, ні обов'язково пов'язаним. Для великого значення альфа-форма є ідентичною опуклому корпусу С. Алгоритм, запропонований Edelsbrunner та Mucke виключає всі тетраедри, які обмежені навколишньою сферою, меншою за α. Потім поверхня виходить із зовнішніх трикутників з отриманого тетраедра.
Інший алгоритм під назвою «Тугий кокон» позначає початкові тетраедри як внутрішні та зовнішні. Трикутники, знайдені в результаті породження отриманої поверхні й за нею.

Обидва методи були нещодавно розширені для відновлення хмар точок з шумом. У цьому методі якість точок визначає доцільність методу. Для точної тріангуляції, оскільки ми використовуємо весь набір хмар точок, точки на поверхні з помилкою вище порога будуть явно представлені на реконструйованій геометрії.

Нульові методи

Реконструкція поверхні виконується за допомогою функції відстані, яка присвоює кожній точці в просторі знакову відстань до поверхні S. Алгоритм контуру використовується для отримання нульового набору, який в свою чергу використовується для отримання полігонального подання об'єкта. Таким чином, завдання відновлення поверхні з неорганізованої хмари точок зводиться до визначення функції f з нульовим значенням для відібраних точок і відмінним від нуля значенням для інших. Алгоритм, названий маршируючими кубами, встановив використання таких методів. Існують різні варіанти для даного алгоритму, деякі використовують дискретну функцію f, в той час як інші використовують полігармонічну радіальну базисну функцію, використовується для установки початкового набору точок. Також використовувалися такі функції, як переміщення найменших квадратів, базові функції з локальною підтримкою, засновані на рівнянні Пуассона. Втрата точності геометрії в областях з екстремальною кривиною, тобто кутів, крайок є однією з основних утворюваних проблем. Крім того, попередня обробка інформації, застосовує деяку техніку фільтрації, яка також впливає на визначення кутів, пом'якшуючи їх. Є кілька досліджень, пов'язаних з методами постобробки, використовуваними в реконструкції для виявлення і уточнення кутів, але ці методи збільшують складність вирішення.

Техніка VR

Повна прозорість об'єму об'єкта візуалізується за допомогою техніки VR. Зображення будуть виконуватися шляхом проєктування променів через об'ємні дані. Уздовж кожного променя, непрозорість і колір повинні бути розраховані на кожному вокселі. Потім інформація, обчислена вздовж кожного променя, буде агрегована в піксель на площині зображення. Ця техніка допомагає нам всебічно побачити всю компактну структуру об'єкта. Тому, що метод вимагає величезної кількості обчислень, який вимагає сильної конфігурації комп'ютерів підходить для даних з низьким контрастом. Два основних методи проєктування променів можна розглядати наступним чином:

Метод об'єктного порядку: Променеві промені проходять через об'єм ззаду вперед (від гучності до площини зображення).
Порядок зображення або променевий метод: Променеві промені проходять через гучність спереду назад (від площини зображення до об'єму). Існують деякі інші способи складання зображення, відповідні методи залежно від цілей користувача. Деякі звичайні методи в медичному зображенні є MIP (максимальна інтенсивність проєкції), MinIP (мінімальна інтенсивність проєкції), AC (альфа — композитна) і NPVR (не фотореалістичне об'ємне відбивання ).

Воксельна сітка

У цьому методі фільтрації вхідний простір відбирається з використанням сітки 3D вокселів для зменшення кількості точок. Для кожного вокселя центроїд вибирається як представник всіх точок. Існує два підходи: вибір центроїда вокселя або вибір центроїда точок, що лежать всередині вокселя. Для отримання внутрішніх точок середнє значення має вищі обчислювальні витрати, але пропонує кращі результати. Таким чином, виходить підмножина вхідного простору, яке приблизно представляє нижче лежачу поверхню. Метод сітки вокселя представляє ті ж проблеми, що й інші методи фільтрації: неможливість визначення кінцевого числа точок, що представляють поверхню, втрата геометричної інформації через зменшення точок всередині вокселя і чутливість до гучних вхідних просторів.

Дивитися також[ред. | ред. код]

Список літератури[ред. | ред. код]

↑ Moons, Theo, Luc Van Gool, and Maarten Vergauwen. "3D reconstruction from multiple images part 1: Principles." Foundations and Trends in Computer Graphics and Vision 4.4 (2010): 287-404.
↑ Zollhöfer, Michael, et al. "Real-time non-rigid reconstruction using an RGB-D camera link=." ACM Transactions on Graphics 33.4 (2014): 156.
↑ Liping Zheng; Guangyao Li; Jing Sha (2007). The survey of medical image 3D reconstruction. Fifth International Conference on Photonics and Imaging in Biology and Medicine. Proceedings of SPIE. Т. 6534. с. 65342K–65342K–6. doi:10.1117/12.741321.
↑ Vosselman, George, and Sander Dijkman. "3D building model reconstruction from point clouds and ground plans link=." International archives of photogrammetry remote sensing and spatial information sciences 34.3/W4 (2001): 37-44.
↑ Colesanti, Carlo, and Janusz Wasowski. "Investigating landslides with space-borne Synthetic Aperture Radar (SAR) interferometry." Engineering geology 88.3-4 (2006): 173-199.
↑ Mahmoudzadeh, Ahmadreza; Golroo, Amir; Jahanshahi, Mohammad R.; Firoozi Yeganeh, Sayna (January 2019). Estimating Pavement Roughness by Fusing Color and Depth Data Obtained from an Inexpensive RGB-D Sensor. Sensors. 19 (7): 1655. doi:10.3390/s19071655. PMC 6479490. PMID 30959936.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
↑ Buelthoff, Heinrich H., and Alan L. Yuille. "Shape-from-X: Psychophysics and computation." Fibers' 91, Boston, MA. International Society for Optics and Photonics, 1991.
↑ Soltani, A.A.; Huang, H.; Wu, J.; Kulkarni, T.D.; Tenenbaum, J.B. (2017). Synthesizing 3D Shapes via Modeling Multi-View Depth Maps and Silhouettes With Deep Generative Networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. с. 1511—1519.
↑ Horn, Berthold KP. "Shape from shading: A method for obtaining the shape of a smooth opaque object from one view link=." (1970).
↑ Woodham, Robert J. (1980). Photometric method for determining surface orientation from multiple images (PDF). Optical Engineering. 19 (1): 138—141. Bibcode:1980OptEn..19..139W. doi:10.1117/12.7972479. Архів оригіналу (PDF) за 27 березня 2014.
↑ Witkin, Andrew P. (1981). Recovering surface shape and orientation from texture (PDF). Artificial Intelligence. 17 (1–3): 17—45. doi:10.1016/0004-3702(81)90019-9.

Зовнішні посилання[ред. | ред. код]

Синтезування 3D-фігур за допомогою моделювання глибинних карток та силуетів із глибоким переглядом за допомогою глибоких генеративних мереж - Створюйте та реконструюйте тривимірні фігури за допомогою моделювання карток глибин або багатьох силуетів.