Оптичний потік

Оптичний потік, який сприймається спостерігачем, що обертається (в даному прикладі мухою). Напрямок та величина оптичного потоку в кожній позиції подано стрілками відповідного напрямку і довжини.

Опти́чний поті́к (англ. optical flow, optic flow) — це схема видимого руху об'єктів, поверхонь і граней у зоровій сцені, спричинюваного відносним рухом спостерігача та сцени. Оптичний потік також можливо визначити як розподіл видимих швидкостей руху візерунку яскравості в зображенні. Поняття оптичного потоку було запроваджено американським психологом Джеймсом Дж. Ґібсоном у 1940-х роках для опису зорових стимулів, що виникають у тварин, які рухаються світом. Джеймс Ґібсон наголосив на важливості оптичного потоку для сприймання можливостей, здатності розрізнювати можливості для дій у середовищі. Послідовники Ґібсона та його екологічного підходу до психології згодом показати роль стимулу оптичного потоку для сприймання руху спостерігачем у світі; сприймання форми, відстані й руху об'єктів у світі; та контролю пересування.

Термін «оптичний потік» також використовують робототехніки, охоплюючи споріднені методики з обробки зображень та керування навігацією, включно з виявлянням руху, сегментуванням об'єктів, інформацією про час до контакту, обчисленнями фокусу розширення, освітленістю, кодуванням компенсації руху, та вимірюванням стереодиспаритету.

Оцінювання

Послідовності впорядкованих зображень уможливлюють оцінювання руху або як миттєвих швидкостей зображення, або як дискретних зміщень зображень. Фліт та Вейсс пропонують навчальний посібник з оптичного потоку на основі градієнта. Джон Л. Баррон, Девід Дж. Фліт та Стівен Бошемен пропонують аналіз продуктивності низки методик оптичного потоку, з наголосом на точності та густоті вимірювань.

Методи оптичного потоку намагаються обчислювати рух між двома кадрами, що було знято в моменти часу $t$ та $t+\Delta t$, в положенні кожного вокселя. Ці методи називають диференціальними, оскільки вони ґрунтуються на локальних наближеннях сигналу зображення рядами Тейлора, тобто, вони використовують частинні похідні за просторовими та часовими координатами.

Для випадку вимірності 2D+t (випадки 3D та n-D є подібними) воксель у положенні $(x,y,t)$ з інтенсивністю $I(x,y,t)$ буде переміщено між цими двома кадрами на $\Delta x$, $\Delta y$ та $\Delta t$, й може бути задано наступне обмеження сталості яскравості (англ. brightness constancy constraint):

$I(x,y,t)=I(x+\Delta x,y+\Delta y,t+\Delta t)$

Якщо виходити з того, що переміщення є невеликим, це обмеження зображення в $I(x,y,t)$ може бути розгорнуло за допомогою ряду Тейлора в

$I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t+$члени вищих порядків

При відкиданні членів вищих порядків (що здійснює лінеаризацію) з цього випливає, що

${\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t=0$

або, при діленні на $\Delta t$,

${\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0$

що в результаті дає

${\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0$

де $V_{x},V_{y}$ є складовими $x$ та $y$ швидкості або оптичного потоку $I(x,y,t)$, а ${\tfrac {\partial I}{\partial x}}$, ${\tfrac {\partial I}{\partial y}}$ та ${\tfrac {\partial I}{\partial t}}$ є похідними зображення в $(x,y,t)$ у відповідних напрямках. Далі ці похідні може бути позначено через $I_{x}$,$I_{y}$ та $I_{t}$.

Отже:

$I_{x}V_{x}+I_{y}V_{y}=-I_{t}$

або

$\nabla I\cdot {\vec {V}}=-I_{t}$

Це — рівняння з двома невідомими, й саме по собі розв'язаним бути не може. Це відоме як проблема вікна (англ. aperture problem) в алгоритмах оптичного потоку. Щоби знайти оптичний потік, потрібен інший набір рівнянь, заданий деяким додатковим обмеженням. Для оцінювання фактичного потоку всі алгоритми оптичного потоку запроваджують додаткові умови.

Методи визначення

• Фазова кореляція — обернення унормованого взаємного спектру потужності
• Блокові методи — мінімізування суми квадратів різниць, або суми модулів різниць, або максимізування унормованої взаємної кореляції
• Диференціальні методи оцінювання оптичного потоку, що ґрунтуються на частинних похідних сигналу зображення та/або шуканого поля потоку та частинних похідних вищого порядку, такі як:
  • Метод Лукаса — Канаде — стосовно клаптиків зображення та афінної моделі для поля потоку
  • Метод Горна — Шунка — оптимізування функціоналу на основі залишків від обмеження сталості яскравості, та певного члена регуляризації, що виражає очікувану плавність поля потоку
  • Метод Бакстона — Бакстона — ґрунтується на моделі руху контурів у послідовностях зображень
  • Метод Блека — Джепсона — грубий оптичний потік через кореляцію
  • Загальні варіаційні методи — низка видозмін/розширень Горна — Шунка, що використовують інші члени даних, та інші члени гладкості.
• Дискретні методи оптимізації — простір пошуку дискретизується, й узгодження зображення відтак обробляється через призначування міток на кожному пікселі таким чином, що відповідне деформування мінімізує відстань між первинним та цільовим зображеннями. Оптимальний розв'язок часто добувають через алгоритми теореми про максимальний потік, мінімальний розріз, лінійне програмування, або методи поширення переконання.

Багато з них, на додачу до поточних алгоритмів на рівні останніх досягнень, оцінюють на наборі даних Middlebury Benchmark Dataset. Іншими популярними наборами даних є KITTI та Sintel.

Використання

Головними аспектами дослідження оптичного потоку стали оцінювання руху та стискання відео. Хоча поле оптичного потоку на перший погляд і схоже на щільне поле руху, отримуване за допомогою методик оцінювання руху, оптичний потік є дослідженням не лише визначення самого поля оптичного потоку, але також і його використання в оцінюванні тривимірної природи та структури сцени, як і тривимірного руху об'єктів та спостерігача відносно сцени, де здебільшого використовують якобіан зображення.

Дослідники в галузі робототехніки використовували оптичний потік в багатьох областях, таких як виявляння та відстежування об'єктів, виділяння основного плану зображення, виявляння руху, навігація роботів та візуальна одометрія. Інформацію оптичного потоку визнавали корисною для керування мініатюрними літальними апаратами.

До застосувань оптичного потоку належить задача висновування не лише руху спостерігача та об'єктів у сцені, але також і структури об'єктів та середовища. Оскільки усвідомлення руху та породжування ментальних мап структури нашого середовища є критичними складовими тваринного (та людського) зору, перетворення цієї вродженої здібності на комп'ютерну здатність є так само вирішальним й у галузі зору машинного.

Вектор оптичного потоку руху об'єкта в послідовності відео.

Розгляньмо п'ятикадровий кліп руху м'яча з лівої нижньої частини поля зору до правої верхньої. Методики оцінювання руху можуть визначити, що на двовимірній площині м'яч рухається вгору та праворуч, й вектори, що описують цей рух, можливо виділити з цієї послідовності кадрів. Для цілей стискання відео (наприклад, MPEG), послідовність тепер описано настільки добре, наскільки потрібно. Проте в галузі машинного зору питання про те, чи це м'яч рухається праворуч, чи спостерігач рухається ліворуч, є непізнанною, але критичною інформацією. Навіть якби в цих п'яти кадрах було присутнє статичне візерункове тло, ми не змогли би з упевненістю стверджувати, що м'яч рухався праворуч, оскільки цей візерунок міг мати нескінченну відстань від спостерігача.

Давач оптичного потоку

Давач оптичного потоку — це зоровий давач, здатний вимірювати оптичний потік або візуальний рух, та видавати вимірювання, що ґрунтуються на оптичному потоці. Існують різноманітні конфігурації давачів оптичного потоку. Однією з конфігурацій є чип давача зображення, з'єднаний з процесором, запрограмованим виконувати алгоритм оптичного потоку. Інша конфігурація використовує зоровий чип, що є інтегрованою схемою, яка має як давач зображення, так і процесор, на одному й тому ж кристалі, що уможливлює компактне втілення. Таким прикладом є звичайний давач оптичної миші. У деяких випадках схему обробки може бути втілено із застосуванням схем з аналоговим або змішаними сигналами для уможливлення швидкого обчислювання оптичного потоку з мінімальним споживанням струму.

Однією з областей сучасних досліджень є застосування методик нейроморфної інженерії для втілення схем, що реагують на оптичний потік, і відтак можуть бути доречними для використання в давачі оптичного потоку. Такі схеми можуть черпати натхнення з біологічних нейронних схем, що реагують на оптичний потік подібним чином.

Давачі оптичного потоку широко використовують у комп'ютерних оптичних мишах як головну давачеву складову для вимірювання руху миші поверхнею.

Давачі оптичного потоку використовують також і в робототехніці, переважно де є потреба у вимірюванні візуального руху або відносного руху робота та інших об'єктів поблизу робота. Однією з областей поточних досліджень також є використання давачів оптичного потоку в безпілотних літальних апаратах (БПЛА) задля забезпечення стабільності та уникання перешкод.

Див. також

• Осяжний оптичний лад
• Оптична миша
• Дальнісне зображення
• Зоровий процесор
• Рівняння неперервності

Посилання

• Finding Optic Flow (англ.)
• Стаття Art of Optical Flow на fxguide.com (з використанням оптичного потоку у візуальних ефектах) (англ.)
• Optical flow evaluation and ground truth sequences. (англ.)
• Middlebury Optical flow evaluation and ground truth sequences. (англ.)
• mrf-registration.net — оцінювання оптичного потоку за допомогою МВП (англ.)
• The French Aerospace Lab: втілення оптичного потоку на основі Лукаса — Канаде на ГП (англ.)
• Втілення на CUDA від CUVI (CUDA Vision & Imaging Library) (англ.)
• Horn and Schunck Optical Flow: інтерактивне демо та первинний код методу Горна та Шунка
• TV-L1 Optical Flow: інтерактивне демо та первинний код методу Зака та ін.
• Robust Optical Flow: інтерактивне демо та первинний код методу Брокса та ін.