Реєстрація зображень
Реєстрація зображень (зіставлення, накладання) — це процес трансформування різних наборів даних в одну координатну систему. Даними можуть бути серія фотографій, дані з різних сенсорів, моментів часу, глибини, або точок спостереження.[1] Алгоритми реєстрації зображень використовуються в комп'ютерному баченні, методах медичної візуалізації, у військовій справі для автоматичного розпізнавання цілей, і для впорядковування і аналізу зображень із супутникових даних. Реєстрація необхідна для того, мати можливість порівнювати або інтегрувати отримані з цих різних пристроїв реєстрації даних.
У цьому процесі одна частина зображень являє собою опорне зображення або еталон, а інші відповідні зображення називаються цільовими, або тими, що підлягають скануванню, пошуку об'єктів. Реєстрація зображення досягається шляхом зіставлення цільових зображень, так щоб вони збігалися з еталонним зображенням. У методах, що працюють з інтенсивністю зображень, порівнюють зразки інтенсивності зображення на основі кореляції показників, а в методах основаних на виділенні ознак шукають відповідності між елементами зображення, такими як точки, лінії і контури. Методи на основі аналізу інтенсивності, зіставляють цілі зображення чи частини зображень. Якщо зіставляються частини зображень, центри відповідних частин зображення розглядаються як відповідні характерні точки. Методи на основі виділення ознак головним чином встановлюють відповідність між групою різних точок зображення. Знайшовши відповідність між цими групами точок на зображенні (образами), для зображення кінцевого зображення виконується геометрична трансформація над цільовим зображенням, перед зіставленням з еталонним зображенням, яка показує відповідність між цими зображеннями точка за точкою.[2][3]
Алгоритми зіставлення зображень також можна класифікувати відповідно до моделей трансформації, які вони використовують для співвідношення простору цільового зображення в простір еталонного зображення. Перша широка категорія моделей трансформації включає в себе лінійні відображення такі як: обертання, масштабування, переміщення і інші афінні перетворення.[4] Лінійні відображення носять глобальний характер, таким чином, їх не можна застосовувати для моделювання місцевих геометричних відмінностей між зображеннями.[2]
Друга категорія перетворень дозволяє здійснювати еластичні або нежорсткі перетворення. Такі трансформації дозволяють здійснювати локальні деформації цільового зображення для узгодження з еталонним. Нежорсткі перетворення включають в свій набір радіальні базисні функції (сплайн "тонка пластина" або сплайни поверхонь, мультиквадратичні, і фінітні перетворення (тобто з компактним носієм)[2]), моделі фізичної безперервності (в'язких рідин), моделі великих деформацій (дифеоморфізм).
Просторові методи мають справу з простором зображення, порівнюючи зразки інтенсивності або елементи зображення. Деякі алгоритми виділення ознак походять від традиційних технік для виконання ручного зіставлення зображень, у яких оператор вручну виділяє відповідні контрольні точки в зображеннях. Коли кількість контрольних точок перевищує мінімум, що необхідний для визначення правильної моделі трансформації, можуть застосовуватись ітеративні алгоритми, такі як RANSAC, щоб швидко оцінити параметри конкретного типу перетворення (наприклад афінного) для зіставлення зображень.
Методи, що працюють у частотній області, визначають параметри трансформації для зіставлення зображень при роботі в області перетворення. Такі методи застосовуються для простих перетворень, таких як переміщення, обертання і масштабування. Застосовуючи метод фазової кореляції до пари зображень отримують третє зображення, яке містить одиничний пік (точку). Координати цього піку, відповідають відносному зсуву між зображеннями. На відміну від просторових алгоритмів, метод фазової кореляції стійкий до наявності шуму, осциляцій, і інших перешкод, що є типовими для медичних чи супутникових зображень. Крім того, метод фазової кореляції використовує швидке перетворення Фур'є для підрахунку крос-кореляції між двома зображеннями, що як правило відбувається з високою продуктивністю. Метод можна вдосконалити для розрахунку різниці при обертанні і масштабуванні між двома зображеннями перевівши їх перед тим до лог-полярних координат.[5][6] Завдяки властивостям перетворення Фур'є, обертання і масштабування може визначатися у спосіб інваріантний до переміщення.
Інша класифікація груп методів це одномодальні і мультимодальні методи. Одномодальні методи намагаються реєструвати зображення отримані в одному режимі за допомогою однакового типу сенсора/сканера, в той час як мультимодальні методи реєстрації працюють з зображеннями, що отримані з різних типів і режимів роботи сенсорів.
Мультимодальні методи реєстрації часто використовуються в медичній візуалізації оскільки зображення об'єкту часто отримуються з різних сканерів. Прикладом того є реєстрація КТ/МРТ зображень мозку або ПЕТ/КТ зображення всього тіла для виявлення пухлин, реєстрації КТ зображень підвищеної контрастності в порівнянні з КТ зображеннями без підвищення контрастності для сегментації специфічний частин анатомії, і реєстрації ультразвукових і КТ зображень для локалізації передміхурової залози при променевій терапії.
Методи реєстрації можна класифікувати відносно рівня автоматизації, що вони забезпечують. Існують ручні, інтерактивні, полу-автоматичні і автоматичні методи. Ручні методи надають інструменти для зіставлення зображень вручну. Інтерактивні методи дозволяють зменшити систематичні помилки користувача, виконуючи певні ключові операції автоматично, але потребують участі користувача для контролю процесу реєстрацію. Напівавтоматичні методи автоматичного виконують більшість кроків реєстрації автоматично, але залежить від перевірки правильності користувачем. Автоматичні методи не потребують будь-якої взаємодії з користувачем і виконувати всі дії автоматично.
Аналіз подібності зображень широко використовується в медичній візуалізації. Міри схожості зображень визначають ступінь схожості між образами інтенсивності двох зображень.[2] Вибір міри схожості зображення залежить від модальності зображень, які зіставляються. Типовими прикладами таких мір схожості зображень є крос-кореляція, взаємна інформація, сума квадратів різниць інтенсивності, і співвідношення однорідності зображення. Міра взаємної інформації і нормалізованої взаємної інформації є найбільш популярною мірою схожості при зіставленні мультимодальних зображень. Крос-кореляція, сума квадратів різниць інтенсивності і співвідношення однорідності зображення зазвичай використовуються для реєстрації зображень однакової модальності.
Існує рівень невизначеності, що пов'язана з реєстрацією зображень, які мають які-небудь просторово-часові відмінності. Реєстрація зображень з мірою невизначеності є необхідною для багатьох застосувань виявлення змін, таких як медична діагностика.
В задачах дистанційного спостереження в яких цифрове зображення може представляти кілька кілометрів просторової відстані (такі як зображення NASA LANDSAT), невизначеність в реєстрації зображень може означати, що результат може мати деталізацію в декілька кілометрів у порівняні з точністю на поверхні землі. В кілька відомих роботах намагалися кількісно оцінити невизначеність в реєстрації зображень, щоб порівняти результати.[7][8] Однак, багато підходів для оцінки невизначеності або визначення деформацій дуже затратні в обчисленні або застосовуються лише для обмеженого набору просторових трансформацій.
- ↑ Lisa Gottesfeld Brown, A survey of image registration techniques (abstract), ACM Computing Surveys (CSUR) archive, volume 24, issue 4, December 1992), pages 325—376
- ↑ а б в г A. Ardeshir Goshtasby: 2-D and 3-D Image Registration for Medical, Remote Sensing, and Industrial Applications, Wiley Press, 2005.
- ↑ Sindhu Madhuri G, Classification of Image Registration Techniques and Algorithms in Digital Image Processing — A Research Survey, International Journal of Computer Trends and Technology (IJCTT) — volume 15 number 2, Sep 2014
- ↑ http://www.comp.nus.edu.sg/~cs4243/lecture/register.pdf
- ↑ * B. Srinivasa Reddy, B. N. Chatterji: An FFT-Based Technique for Translation, Rotation and Scale-Invariant Image Registration. IEEE Transactions on Image Processing, vol. 5, no. 8.
- ↑ * G. Wohlberg, S. Zokai: ROBUST IMAGE REGISTRATION USING LOG-POLAR TRANSFORM • A paper on using the log polar transform for registration.
- ↑ Simonson, K., Drescher, S., Tanner, F., A Statistics Based Approach to Binary Image Registration with Uncertainty Analysis. IEEE Pattern Analysis and Machine Intelligence, Vol. 29, No. 1, January 2007
- ↑ Domokos, C., Kato, Z., Francos, J., Parametric estimation of affine deformations of binary images. Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing, 2008
- Кривцов О. А., Кориков А. М. Инверсно-композиционный алгоритм регистрации изображений Программная реализация алгоритма регистрации средствами языка C++ и библиотеки OpenCV
- Richard Szeliski, Image Alignment and Stitching: A Tutorial. Foundations and Trends in Computer Graphics and Computer Vision, 2:1-104, 2006.
- BrainAligner: for very large scale 3D brain registration, Nature Methods, 2011.
- B. Fischer, J. Modersitzki: Ill-posed medicine — an introduction to image registration. Inverse Problems, 24:1–19, 2008
- Barbara Zitová, Jan Flusser: Image registration methods: a survey. Image Vision Comput. 21(11): 977—1000 (2003).
- C. Je and H.-M. Park. Optimized Hierarchical Block Matching for Fast and Accurate Image Registration. Signal Processing: Image Communication, Volume 28, Issue 7, pp. 779—791, August, 2013.
- Registering Multimodal MRI Images using Matlab.
- elastix: a toolbox for rigid and nonrigid registration of images.
- niftyreg: a toolbox for doing near real-time robust rigid, affine (using block matching) and non-rigid image registration (using a refactored version of the free form deformation algorithm).
- Image Registration techniques using MATLAB