Канонічна кореляція

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

У статистиці, каноні́чно-кореляці́йний ана́ліз (ККА, англ. canonical-correlation analysis, CCA) це спосіб виведення інформації зі взаємно-коваріаційних матриць[en]. Якщо ми маємо два вектори випадкових змінних, X = (X1, ..., Xn) та Y = (Y1, ..., Ym), та між цими змінними існують кореляції, то канонічно-кореляційний аналіз знайде такі лінійні комбінації Xi та Yj, які мають максимальну кореляцію між собою.[1] Т. Р. Кнапп зазначає, що «практично всі загальноприйняті параметричні критерії[en] значущості можна розглядати як окремі випадки канонічно-кореляційного аналізу, що є загальною процедурою для дослідження взаємозв'язків між двома наборами змінних.»[2] Вперше цей метод було представлено Гарольдом Готелінґом 1936 року.[3]

Визначення[ред.ред. код]

Для двох заданих стовпчикових векторів[en] випадкових змінних зі скінченними другими моментами та можна визначити взаємну коваріацію[en] як матрицю , чий -тий елемент є коваріацією . На практиці ми б оцінювали коваріаційну матрицю на основі вибіркових даних з та (тобто, з пари матриць даних).

Канонічно-кореляційний аналіз шукає таких векторів та , що випадкові змінні та максимізують кореляцію . Випадкові змінні та є першою парою канонічних змінних (англ. first pair of canonical variables). Потім шукають векторів, які максимізують ту саму кореляцію, з обмеженням, що вони не корелюють з першою парою канонічних змінних; це дає другу пару канонічних змінних (англ. second pair of canonical variables). Цю процедуру може бути продовжено аж до разів.

Обчислення[ред.ред. код]

Виведення[ред.ред. код]

Нехай , а . Параметром для максимізації є

Першим кроком є визначення заміни базису[en] та визначення

І відтак ми маємо

Згідно нерівності Коші — Буняковського, ми маємо

Рівність є тоді, коли вектори та є колінеарними. Крім того, максимум кореляції досягається тоді, коли є власним вектором матриці з максимальним власним значенням (див. відношення Релея[en]). Подальші пари знаходять, використовуючи власні значення зменшуваної величини. Ортогональність гарантовано симетричністю кореляційних матриць.

Розв'язок[ред.ред. код]

Отже, розв'язанням є:

  • є власним вектором
  • є пропорційним до

Аналогічно,

  • є власним вектором
  • є пропорційним до

Обертаючи зміну координат, отримуємо, що

  • є власним вектором
  • є власним вектором
  • є пропорційним до
  • є пропорційним до

Канонічні змінні визначаються як

Реалізація[ред.ред. код]

ККА може бути обчислювано із застосуванням сингулярного розкладу кореляційної матриці.[4] Він доступний як функція в[5]

Перевірка гіпотез[ред.ред. код]

Кожен рядок може бути перевірено на значущість за допомогою наступного методу. Оскільки кореляції впорядковуються, то якщо сказати, що рядок є нульовим, з цього випливатиме, що всі наступні кореляції також є нульовими. Якщо ми маємо в вибірці незалежних спостережень, а є оцінкою кореляції для , то для -того рядка статистичним критерієм є

що для великих асимптотично має розподіл хі-квадрат з ступенями вільності[en].[6] Оскільки всі кореляції від до є логічно нульовими (і оцінюваними таким чином), то добуток членів після цієї точки не має значення.

Практичні застосування[ред.ред. код]

Типовим застосуванням для канонічної кореляції в експериментальному контексті є брати два набори змінних, і дивитися, що є спільного між цими двома наборами. Наприклад, у психологічному тестуванні можна взяти два добре усталені багатовимірні особистісні тести[en], такі як мінесотський багатопрофільний особистісний опитувальник (MMPI-2) та NEO[en]. Дивлячись, як співвідносяться коефіцієнти MMPI-2 та NEO, можна отримати розуміння, які виміри були спільними для цих двох наборів, і скільки було спільної мінливості. Наприклад, можна було би з'ясувати, що виміри екстравертності та невротизму відповідальні за значну величину спільної мінливості цих двох наборів.

Канонічно-кореляційний аналіз також можна використовувати для вироблення рівняння моделі, яка пов'язує два набори змінних, наприклад, набір вимірів продуктивності та набір пояснювальних змінних, або набір виходів та набір входів. На таку модель може бути накладено обмеження, щоби забезпечити відображення нею теоретичних вимог або інтуїтивно очевидних умов. Цей тип моделі відомий як модель з максимальною кореляцією (англ. maximum correlation model).[7]

Унаочнюють результати канонічної кореляції зазвичай за допомогою стовпчикових діаграм коефіцієнтів двох наборів змінних для пар канонічних варіат[en], що показують значущу кореляцію. Деякі автори вважають, що їх найкраще унаочнювати через геліографіки (англ. heliographs), круговий формат із променями як стовпчики, де кожна з половин представляє по набору змінних.[8]

Приклади[ред.ред. код]

Нехай з нульовим математичним сподіванням, тобто, . Якщо , тобто та є повністю корельованими, то, наприклад, та , і відтак першою (і єдиною в цьому прикладі) парою канонічних змінних є та . Якщо , тобто та є повністю антикорельованими, то, наприклад, та , і відтак першою (і єдиною в цьому прикладі) парою канонічних змінних є та . Зауважмо, що в обох випадках , що показує, що канонічно-кореляційний аналіз трактує корельовані та антикорельовані змінні аналогічно.

Зв'язок із головними кутами[ред.ред. код]

Виходячи з того, що та мають нульові математичні сподівання, тобто , їхні коваріаційні матриці та можна розглядати як матриці Грама у внутрішньому добутку[en] для елементів та відповідно. В цій інтерпретації випадкові змінні, елементи з та з , розглядають як елементи векторного простору з внутрішнім добутком, заданим коваріацією , див. Зв'язок коваріації з внутрішніми добутками.

Тоді визначення канонічних змінних та є рівнозначним визначенню кореневих векторів[en] для пари підпросторів, породжуваних елементами та по відношенню до цього внутрішньому добутку[en]. Канонічні кореляції дорівнюють косинусові головних кутів[en].

Див. також[ред.ред. код]

Посилання[ред.ред. код]

Примітки[ред.ред. код]

  1. Härdle, Wolfgang; Simar, Léopold (2007). Canonical Correlation Analysis. Applied Multivariate Statistical Analysis. с. 321–330. ISBN 978-3-540-72243-4. doi:10.1007/978-3-540-72244-1_14.  (англ.)
  2. Knapp, T. R. (1978). Canonical correlation analysis: A general parametric significance-testing system. Psychological Bulletin 85 (2). с. 410–416. doi:10.1037/0033-2909.85.2.410.  (англ.)
  3. Hotelling, H. (1936). Relations Between Two Sets of Variates. Biometrika 28 (3–4). с. 321–377. JSTOR 2333955. doi:10.1093/biomet/28.3-4.321.  (англ.)
  4. Hsu, D.; Kakade, S. M.; Zhang, T. (2012). A spectral algorithm for learning Hidden Markov Models. Journal of Computer and System Sciences 78 (5). с. 1460. arXiv:0811.4413. doi:10.1016/j.jcss.2011.12.025.  (англ.)
  5. Huang, S. Y.; Lee, M. H.; Hsiao, C. K. (2009). Nonlinear measures of association with kernel canonical correlation analysis and applications. Journal of Statistical Planning and Inference 139 (7). с. 2162. doi:10.1016/j.jspi.2008.10.011.  (англ.)
  6. Kanti V. Mardia[en], J. T. Kent and J. M. Bibby (1979). Multivariate Analysis. Academic Press[en].  (англ.)
  7. Tofallis, C. (1999). Model Building with Multiple Dependent Variables and Constraints. Journal of the Royal Statistical Society: Series D (The Statistician) 48 (3). с. 371–378. arXiv:1109.0725. doi:10.1111/1467-9884.00195.  (англ.)
  8. Degani, A.; Shafto, M.; Olson, L. (2006). Canonical Correlation Analysis: Use of Composite Heliographs for Representing Multiple Patterns. Diagrammatic Representation and Inference. Lecture Notes in Computer Science 4045. с. 93. ISBN 978-3-540-35623-3. doi:10.1007/11783183_11.  (англ.)
  9. M. Haghighat, M. Abdel-Mottaleb, & W. Alhalabi (2016). Discriminant Correlation Analysis: Real-Time Feature Level Fusion for Multimodal Biometric Recognition. IEEE Transactions on Information Forensics and Security, 11(9), 1984-1996.