Добуток Хатрі-Рао

Матеріал з Вікіпедії — вільної енциклопедії.
Версія від 04:33, 14 лютого 2022, створена TohaomgBot (обговорення | внесок) (Перекладено дати в примітках з англійської на українську)
Перейти до навігації Перейти до пошуку

Добуток Хатрі-Рао (англ. Khatri-Rao product) — матрична операція перемноження матриць, що визначається виразом[1][2]:

в якому ij-й блок являє собою добуток Кронекера mipi × njqj відповідних блоків A і B за умови, що кількість рядків і стовпців обох матриць однакова. Розмірність добутку — i mipi) × (Σj njqj).

Наприклад, якщо матриці A і B мають блокову розмірність 2 × 2

отримаємо:

Стовпцевий добуток Хатрі-Рао

Стовпцевий добуток Кронекера двох матриць також прийнято називати добутком Хатрі-Рао. Цей добуток передбачає, що блоки матриць є їх стовпцями. В такому випадку m1 = m, p1 = p, n = q і для кожного j: nj = pj = 1. Результатом добутку є mp × n- матрица, кожен стовпець якої отримується як добуток Кронекера відповідних стовпців матриць A і B. Спираючись на розбитття матриць з попереднього прикладу на стовпці, отримаємо:

і далі:

Застосування

Стовпцева версія добутку Хатрі-Рао застосовується в лінійній алгебрі для аналітичної обробки даних[3] і оптимізації рішень проблеми обернення діагональних матриць.[4][5]

В 1996 р. стовпцевий добуток Хатрі-Рао був запропонований для формалізації задачі оцінювання напрямку приходу та часу затримки сигналів в цифровій антенній решітці[6], а також для опису відгуку 4-координатного радара[7].

Торцевий добуток

Торцевий добуток матриць

Альтернативна концепція добутку матриць, яка на відміну від стовпцевої версії добутку Хатрі-Рао використовує розбиття матриць на рядки, була запропонована Слюсарем В. І.[8] в 1996 р. і названа ним торцевий добуток (англ. face-splitting product)[7][9][10][11] або транспонований добуток Хатрі-Рао (англ. transposed Khatri-Rao product)[12].

Цей тип матричного добутку спирається на перемноження елементів рядків двох і більше матриць з однаковою кількістю рядків за правилом добутку Кронекера. Використовуючи розбиття матриць з попередніх прикладів на рядки:

можна записати[7][9][10]:

Основні властивості

  1. Транспонування (Слюсар В.І., 1996[7][9][13]):
  2. Комутативність і асоціативність[7][9][13]:

    де A, B і C — матриці, а k — скаляр,

    ,[13]

    де  — вектор з тією ж кількістю елементів, що і кількість рядків матриці ,
  3. Властивість змішаного добутку (1997[13]):
    ,
    ,
    [12],
    [14],
    де означає добуток Адамара,
  4. [13],
  5. [7],
  6. [14],
  7. [10][15],
    ,
  8. [13],
    , де і є векторами узгодженої розмірності,
  9. [16], ,
  10. [17], де і є векторами узгодженої розмірності,
    ,
  11. ,
    де є символом векторної згортки, і  — матриця дискретного перетворення Фур'є (тотожність є розвитком властивості відлікового скетча[18]),
  12. [19], де  — матриця,  — матриця, ,  — вектори з та одиниць відповідно,
    [20], де є матрицею,  — добуток Адамара і  — вектор з одиниць.
    , де  — символ проникаючого торцевого добутку матриць.
    Аналогічно, , де  — матриця,  — матриця.
  13. [13],
    [20], ,
    де  — вектор, утворений із діагональних елементів матриці ,  — операція формування вектора з матриці шляхом розташування один під одним її стовпців.
  14. Властивість поглинання добутку Кронекера:
    [10][15],
    ,
    ,
    де і є векторами узгодженої розмірності,

Наприклад[17],

та інші. Крім того, Слюсарем В. І. були запропоновані блокові версії транспонованого добутку та досліджені їх властивості[7].

Блоковий торцевий добуток

Застосування блокового транспонованого торцевого добутку для опису відгуку багатогранної цифрової антенної решітки[15]

Для блокових матриць з однаковою кількістю рядків у відповідних блоках

згідно з визначенням[7][10], блоковий торцевий добуток запишеться у вигляді:

.

Аналогічно для блокового транспонованого торцевого добутку (або блокового стовпцевого добутку Хатрі-Рао) двох матриць з однаковою кількістю стовпців у відповідних блоках справедливо[7]:

.

Основні властивості

  1. Транспонування:
    [15]

Застосування

Родина торцевих добутків матриць стала основою започаткованої Слюсарем В. І. тензорно-матричної теорії цифрових антенних решіток для радіотехнічних систем[12], яка надалі отримала розвиток як частина теорії цифрової обробки сигналів.

Торцевий добуток набув широкого поширення в системах машинного навчання, статистичній обробці великих даних[17]. Він дозволяє скоротити обсяги обчислень при реалізації методу зменшення розмірності даних, що одержав назву тензорний скетч[17] а також швидкого перетворення Джонсона — Лінденштрауса[17]. При цьому здійснюється перехід від матриці великої розмірності до добутку Адамара, що оперує матрицями меншого розміру. Похибки апроксимації данних великої розмірності на основі торцевого добутку матриць задовольняють лемі Джонсона — Лінденштрауса[17][21]. У тому ж контексті ідея торцевого добутку може бути використана для вирішення завдання диференційної приватності (англ. differential privacy)[16]. Крім того, аналогічні обчислення були застосовані для формування тензорів співпадань в задачах обробки природної мови і побудови гіперграфів подібності зображень[22].

Торцевий добуток використаний у 2003 р. для P-сплайн апроксимації[19], у 2006 р. — для побудови узагальнених лінійних моделей масивів даних (GLAM) при їх статистичній обробці[20], а також для ефективної реалізації ядрових методів машинного навчання та дослідження взаємодії генотипів з оточуючим середовищем[23].

Див. також

Примітки

  1. Khatri C. G., C. R. Rao (1968). Solutions to some functional equations and their applications to characterization of probability distributions. Sankhya. 30: 167—180. Архів оригіналу (PDF) за 23 жовтня 2010. Процитовано 21 серпня 2008.
  2. Zhang X; Yang Z; Cao C. (2002), Inequalities involving Khatri–Rao products of positive semi-definite matrices, Applied Mathematics E-notes, 2: 117—124
  3. See e.g. H.D. Macedo and J.N. Oliveira. A linear algebra approach to OLAP. Formal Aspects of Computing, 27(2):283–307, 2015.
  4. Lev-Ari, Hanoch (1 січня 2005). Efficient Solution of Linear Matrix Equations with Application to Multistatic Antenna Array Processing. Communications in Information & Systems (EN) . 05 (1): 123—130. doi:10.4310/CIS.2005.v5.n1.a5. ISSN 1526-7555.
  5. Masiero, B.; Nascimento, V. H. (1 травня 2017). Revisiting the Kronecker Array Transform. IEEE Signal Processing Letters. 24 (5): 525—529. Bibcode:2017ISPL...24..525M. doi:10.1109/LSP.2017.2674969. ISSN 1070-9908.
  6. Vanderveen, M. C., Ng, B. C., Papadias, C. B., & Paulraj, A. (n.d.). Joint angle and delay estimation (JADE) for signals in multipath environments. Conference Record of The Thirtieth Asilomar Conference on Signals, Systems and Computers. — DOI:10.1109/acssc.1996.599145
  7. а б в г д е ж и к Slyusar, V. I. (27 грудня 1996). End products in matrices in radar applications (PDF). Radioelectronics and Communications Systems.– 1998, Vol. 41; Number 3: 50—53.
  8. Anna Esteve, Eva Boj & Josep Fortiana (2009): Interaction Terms in Distance-Based Regression, Communications in Statistics — Theory and Methods, 38:19, P. 3501 [1]
  9. а б в г Slyusar, V. I. (20 травня 1997). Analytical model of the digital antenna array on a basis of face-splitting matrix products (PDF). Proc. ICATT- 97, Kyiv: 108—109.
  10. а б в г д Slyusar, V. I. (1999). A Family of Face Products of Matrices and its Properties (PDF). Cybernetics and Systems Analysis C/C of Kibernetika I Sistemnyi Analiz. 35 (3): 379—384. doi:10.1007/BF02733426.
  11. Slyusar, V. I. (2003). Generalized face-products of matrices in models of digital antenna arrays with nonidentical channels (PDF). Radioelectronics and Communications Systems. 46 (10): 9—17.
  12. а б в Миночкин А.И., Рудаков В.И., Слюсар В.И. (2012). Основы военно-технических исследований. Теория и приложения. Том. 2. Синтез средств информационного обеспечения вооружения и военной техники//Под ред. А.П. Ковтуненко. - Киев: «Гранмна». – 2012 (PDF). с. C. 7 - 98, 354—521.
  13. а б в г д е ж Slyusar, V. I. (15 вересня 1997). New operations of matrices product for applications of radars (PDF). Proc. Direct and Inverse Problems of Electromagnetic and Acoustic Wave Theory (DIPED-97), Lviv.: 73—74.
  14. а б C. Radhakrishna Rao. Estimation of Heteroscedastic Variances in Linear Models.//Journal of the American Statistical Association, Vol. 65, No. 329 (Mar., 1970), pp. 161—172
  15. а б в г Vadym Slyusar. New Matrix Operations for DSP (Lecture). April 1999. - DOI: 10.13140/RG.2.2.31620.76164/1
  16. а б Kasiviswanathan, Shiva Prasad, et al. «The price of privately releasing contingency tables and the spectra of random matrices with correlated rows.» Proceedings of the forty-second ACM symposium on Theory of computing. 2010.
  17. а б в г д е Thomas D. Ahle, Jakob Bæk Tejs Knudsen. Almost Optimal Tensor Sketch. Published 2019. Mathematics, Computer Science, ArXiv
  18. Ninh, Pham; Rasmus, Pagh (2013). Fast and scalable polynomial kernels via explicit feature maps. SIGKDD international conference on Knowledge discovery and data mining. Association for Computing Machinery. doi:10.1145/2487575.2487591.
  19. а б Eilers, Paul H.C.; Marx, Brian D. (2003). Multivariate calibration with temperature interaction using two-dimensional penalized signal regression. Chemometrics and Intelligent Laboratory Systems. 66 (2): 159—174. doi:10.1016/S0169-7439(03)00029-7.
  20. а б в Currie, I. D.; Durban, M.; Eilers, P. H. C. (2006). Generalized linear array models with applications to multidimensional smoothing. Journal of the Royal Statistical Society. 68 (2): 259—280. doi:10.1111/j.1467-9868.2006.00543.x.
  21. Ahle, Thomas; Kapralov, Michael; Knudsen, Jakob; Pagh, Rasmus; Velingker, Ameya; Woodruff, David; Zandieh, Amir (2020). Oblivious Sketching of High-Degree Polynomial Kernels. ACM-SIAM Symposium on Discrete Algorithms. Association for Computing Machinery. doi:10.1137/1.9781611975994.9.
  22. Bryan Bischof. Higher order co-occurrence tensors for hypergraphs via face-splitting. Published 15 February, 2020, Mathematics, Computer Science, ArXiv
  23. Johannes W. R. Martini, Jose Crossa, Fernando H. Toledo, Jaime Cuevas. On Hadamard and Kronecker products in covariance structures for genotype x environment interaction.//Plant Genome. 2020;13:e20033. Page 5. [2]

Джерела