Теорема Карунена — Лоева
Ця стаття містить правописні, лексичні, граматичні, стилістичні або інші мовні помилки, які треба виправити. |
Теорема Кархунена — Лоева (названа на честь Карі Кархунена[en] та Мішеля Лоева[en]), також відома як теорема Косамбі — Кархунена — Лоева[1][2], це розклад випадкового процесу у вигляді нескінченної лінійної комбінації ортогональних функцій, що є аналогом представлення функції в ряд Фур'є на обмеженому інтервалі. Цей розклад тісно пов'язаний з методом головних компонент (PCA), який широко використовується в аналізі даних.[3]
Першим хто розглянув розклад випадкового процесу у вигляді нескінченного ряду Дамодаром Дхарманандою Косамбі[4][5]. Існує декілька розкладів стохастичного процесу: якщо процес заіндексований над , то будь-який ортонормований базис в задає розклад в цій формі. Важливість теореми Кархунена – Лоева полягає в тому, що вона дає найкращий базис у сенсі мінімізації середньої квадратичної помилки.
На відміну від ряду Фур'є, де коефіцієнти є фіксованими числами і базис складається з синусоїдальних функцій (тобто функцій синуса та косинуса), коефіцієнти в теоремі Кархунена – Лоева є випадковими величинами, а базис розкладання залежить від процесу. Фактично, ортогональні базисні функції, що використовуються в цьому розкладі, визначаються коваріаційною функцією процесу.
У випадку центрованого випадкового процесу (центрований означає для всіх ), що задовольняє умову технічної неперервності, допускає розкладання
де є попарно некорельованими випадковими величинами, а функції є неперервними дійсними функціями на , які є попарно ортогональними в . Загальний випадок процесу , який не є центрованим, можна повернути до випадку центрованого процесу, розглядаючи , який є центрованим процесом.
Крім того, у випадку нормального процесу, випадкові величини є нормально розподіленими і стохастично незалежними. Цей результат узагальнює перетворення Кархунена – Лоева. Важливим прикладом центрованого стохастичного процесу на є процес Вінера; теорема Кархунена – Лоева може бути використана для забезпечення канонічного ортогонального представлення для нього. У цьому випадку розкладання складається з синусоїдальних функцій.
Формулювання[ред. | ред. код]
- У цій статті ми розглядатимемо квадратично інтегрований випадковий процес із нульовим середнім, визначений у ймовірнісному просторі та проіндексований у замкненому інтервалі з коваріаційною функцією . Таким чином ми маємо:
- Пов'яжемо з лінійний оператор визначений таким чином:
Оскільки є лінійним оператором, то має сенс говорити про його власні значення та власні функції , які знаходяться за допомогою розв'язування однорідного інтегрального рівняння Фредгольма другого роду
Формулювання теореми[ред. | ред. код]
Теорема. Нехай — квадратично інтегрований випадковий процес, визначений у ймовірносному просторі та проіндексований на інтервалі , з неперервною коваріаційною функцією .
Тоді є ядром Мерсера, і якщо ортонормований базис в утворений власними функціями з відповідними власними значеннями допускає наступне представлення
де збіжність в , рівномірна по t і
Крім того, випадкові величини некорельовані мають нульове середнє та мають дисперсію
Зауважте, що за допомогою узагальнення теореми Мерсера, ми можемо замінити інтервал на будь-який компактний простір і міру Лебега на , носієм якої є .
Доведення[ред. | ред. код]
- Коваріаційна функція є ядром Мерсера. Згідно з теоремою Мерсера, отже, існує набір , власних значень і власних функцій що утворюють ортонормований базис , і можна розкласти
- Процес можна розкласти за власними функціями як:
- де коефіцієнти (випадкові величини) є проекціями на відповідні власні функції
- Тоді ми можемо отримати
- де ми використали факт, що є власними функціями і ортонормовані.
- Тепер покажемо, що збіжність відбувається в . Нехай
- Тоді:
- яка дорівнює 0 за теоремою Мерсера.
Властивості перетворення Кархунена – Лоева[ред. | ред. код]
Особливий випадок: розподіл Гауса[ред. | ред. код]
Оскільки ліміт в середньому спільно гаусівських випадкових величин є спільно гаусівською, а спільно гауссові випадкові (центровані) величини є незалежними, тоді і тільки тоді, коли вони ортогональні, ми також можемо зробити висновок:
Теорема. Змінні Zi мають спільний гаусівський розподіл і є незалежними, якщо процес є гаусівським.
У випадку гаусової випадкової величини, змінні Zi є незалежними, ми можемо сказати більше:
Лінійне наближення Теорема Кархунена — Лоева[ред. | ред. код]
Розглянемо слас сигналів які ми хочемо наблизити за допомогою базисних веторів. Ці сигнали змодельовані як реалізація випадкови веторів розміром . Для оптимізації апроксимації ми реалізуємо такий базис що зменить помилку. Ця секція доводить, що накращий базис це базисКархунена — Лоева що діагоналізує . Випадковий вектор може бути декомпонований в ортонормальний базис
а саме:
де кожен
це випадкова величина. Наближення перших векторів базиса є
Із береження енергії в ортогональному базисі виходить
Це помилка пов'язана з коваріацією визначена як
Для будь-якого вектору ми визначимо коваріаційний оператор визначений за матрицею,
Помилка це сума останніх коефіціентів коваріаційного оператору
Коваріаційний оператор Ермітів і позитивний тому він може бути діагоналзований, в ортогональному базисі який називається базис Кархунена — Лоева. Наступна теорема стверджує, що базис Кархунена — Лоева має найменшу посику апроксимізації.
Theorem (Оптимальність Кархунена — Лоева базиса). Нехай K коваріаційний оператор. Для всіх M ≥ 1, помилка апроксимації
приймає мінімальне значення тоді і тільки тоді
це базис Кархунена — Лоева відсортовонаний по зменшенню власних чисел.
Приклади[ред. | ред. код]
Вінерівський процес[ред. | ред. код]
Існує декілька еквівалентних формулювань процес Вінера яка є узагальненням Броунівського руху. Тут ми розглядаєм стандартний гаусівський процесс з коваріаційною функцією
Ми можемо розглядаєио лише інтервал .
Ми можемо легко порахувати власні вектори, а саме
і відвідні власні числа
Щоб знайти власні числа та власні інтеграли ми маємо вирішити інтегральні рівняння
якщо ми продиференціюємо по , то ми отримаємо:
після другого дифференціювання ми отримаємо аступне диффиренційне рівняння:
Загальний розв'язок дифференціального рівнняння виглядає так:
і - дві константи, які визначаються з граничних умов. При підставленні в інтегральне рівняння ми отримаємо з чого також отримаємо та, також, при перше диффернціювання дає :
з чого ми отримаємо загальний вигляд власних чисел are:
Відповідні власні функції мають вигляд:
обрана так, щоб нормалізувати :
Ми отримаємо представлення процесу Вінера
Theorem. Існує послідовність незалежних Гасових випадкових величин з нульовим середнім та дисперсією 1 так щ
Треба зауважити що таке представлення дійсне при На більшихих інтервалах інкременти не незалежні. Як сказано в теоремі, збіжність у L2 нормі і рівномірна по t.
Броунівський міст[ред. | ред. код]
Подібно Броунівський міст який є випадковим процесом з коваріацією
може бути представлений як ряд
Примітки[ред. | ред. код]
- ↑ Sapatnekar, Sachin (2011), Overcoming variations in nanometer-scale technologies, IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 1 (1): 5—18, Bibcode:2011IJEST...1....5S, doi:10.1109/jetcas.2011.2138250
- ↑ Ghoman, Satyajit; Wang, Zhicun; Chen, PC; Kapania, Rakesh (2012). A POD-based Reduced Order Design Scheme for Shape Optimization of Air Vehicles. Proc of 53rd AIAA/ASME/ASCE/AHS/ASC Structures, Structural Dynamics, and Materials Conference, AIAA-2012-1808, Honolulu, Hawaii.
- ↑ Karhunen–Loeve transform (KLT) [Архівовано 2016-11-28 у Wayback Machine.], Computer Image Processing and Analysis (E161) lectures, Harvey Mudd College
- ↑ Raju, C.K. (2009), Kosambi the Mathematician, Economic and Political Weekly, 44 (20): 33—45
- ↑ Kosambi, D. D. (1943), Statistics in Function Space, Journal of the Indian Mathematical Society, 7: 76—88, MR 0009816.
Посилання[ред. | ред. код]
- Stark, Henry; Woods, John W. (1986). Probability, Random Processes, and Estimation Theory for Engineers. Prentice-Hall, Inc. ISBN 978-0-13-711706-2. OL 21138080M.
- Ghanem, Roger; Spanos, Pol (1991). Stochastic finite elements: a spectral approach. Springer-Verlag. ISBN 978-0-387-97456-9. OL 1865197M.
- Guikhman, I.; Skorokhod, A. (1977). Introduction a la Théorie des Processus Aléatoires. Éditions MIR.
- Simon, B. (1979). Functional Integration and Quantum Physics. Academic Press.
- Karhunen, Kari (1947). Über lineare Methoden in der Wahrscheinlichkeitsrechnung. Ann. Acad. Sci. Fennicae. Ser. A I. Math.-Phys. 37: 1—79.
- Loève, M. (1978). Probability theory. Vol. II, 4th ed. Graduate Texts in Mathematics. Т. 46. Springer-Verlag. ISBN 978-0-387-90262-3.
- Dai, G. (1996). Modal wave-front reconstruction with Zernike polynomials and Karhunen–Loeve functions. JOSA A. 13 (6): 1218. Bibcode:1996JOSAA..13.1218D. doi:10.1364/JOSAA.13.001218.
- Wu B., Zhu J., Najm F.(2005) «A Non-parametric Approach for Dynamic Range Estimation of Nonlinear Systems». In Proceedings of Design Automation Conference(841—844) 2005
- Wu B., Zhu J., Najm F.(2006) «Dynamic Range Estimation». IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, Vol. 25 Issue:9 (1618—1636) 2006
- Jorgensen, Palle E. T.; Song, Myung-Sin (2007). Entropy Encoding, Hilbert Space and Karhunen–Loeve Transforms. Journal of Mathematical Physics. 48 (10): 103503. arXiv:math-ph/0701056. Bibcode:2007JMP....48j3503J. doi:10.1063/1.2793569. S2CID 17039075.