Резервуарне обчислення

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку

Резервуа́рне обчи́слення (англ. reservoir computing) — це система обчислення, яку можна розглядати як розширення нейронних мереж.[1] Як правило, входовий сигнал подається до незмінної (випадкової) динамічної системи, що називають резервуаром (англ. reservoir), і динаміка резервуара відображує вхід до вищого виміру. Потім простий механізм зчитування (англ. readout) тренують читати стан резервуару й відображувати його на бажаний вихід. Головна перевага полягає в тім, що тренування виконується лише на стадії зчитування, а резервуар є незмінним. Двома основними типами резервуарних обчислень є рідкі скінченні автомати[2] та мережі з відлунням стану.[3][4]

Резервуарне обчислення — це найкращий у своєму класі алгоритм машинного навчання для обробки інформації, створеної динамічними системами, використовуючи спостережувані часові ряди даних. Важливо те, що він вимагає дуже малих наборів даних для навчання, використовує лінійну оптимізацію, а отже, вимагає мінімальних обчислювальних ресурсів. Однак алгоритм використовує матриці випадкової вибірки для визначення базової рекурентної нейронної мережі та має безліч метапараметрів, які необхідно оптимізувати. Останні результати демонструють еквівалентність обчислення пластів нелінійній векторній авторегресії, яка не вимагає випадкових матриць, потребує меншої кількості метапараметрів і забезпечує результати, які можливо інтерпретувати. Нелінійна векторна авторегресія відмінно справляється з контрольними завданнями обчислення пластів і вимагає ще коротших наборів даних для навчання та часу навчання, проголошуючи наступне покоління обчислень для пластів.[5]

Резервуар[ред. | ред. код]

Резервуар складається з зібрання рекурентно з'єднаних вузлів. Структура зв'язності, як правило, є випадковою, а вузли, як правило, є нелінійними. Загальна динаміка резервуара задається його входом, а також залежить від минулого. Багате зібрання динамічних відображень входів-виходів є вирішальною перевагою над простими нейронними мережами з часовою затримкою.

Зчитування[ред. | ред. код]

Зчитування здійснюється із застосуванням лінійного перетворення виходу резервуару. Це перетворення підлаштовують до потрібної задачі, застосовуючи лінійну або гребеневу регресію з використанням навчального сигналу.

Типи[ред. | ред. код]

Контекстно-ревербераційна мережа[ред. | ред. код]

Раннім прикладом резервуарних обчислень була контекстно-ревербераційна мережа (англ. context reverberation network).[6] В цій архітектурі входовий шар подається до динамічної системи високої розмірності, яку читають тренованим одношаровим перцептроном. Було описано два види динамічних систем: рекурентна нейронна мережа з незмінними випадковими вагами, і неперервна реакційно-дифузна система[en], натхнена моделлю морфогенезу Алана Тюрінга. У тренованому шарі перцептрон пов'язує поточний вхід із сигналами, які реверберують у динамічній системі; про останню казали, що вона забезпечує динамічний «контекст» для входів. Мовою пізніших праць, реакційно-дифузна система слугувала резервуаром.

Мережа з відлунням стану[ред. | ред. код]

Докладніше: Мережа з відлунням стану

Зворотне поширення — декореляція[ред. | ред. код]

Зворотне поширення — декореляція (ЗПДК, англ. backpropagation-decorrelation, BPDC)

Рідкий скінченний автомат[ред. | ред. код]

Докладніше: Рідкий скінченний автомат

Резервуарне обчислення для структурованих даних[ред. | ред. код]

Модель деревної мережі з відлунням стану (англ. Tree Echo State Network, TreeESN)[7] являє собою узагальнення системи резервуарного обчислення для деревно структурованих даних.

Органоїдний інтелект[ред. | ред. код]

Досліджується апаратний підхід штучного інтелекту, який використовує адаптивне резервуарне обчислення біологічних нейронних мереж в мозкових органоїдах. У цьому підході, який називається Brainoware, обчислення виконуються шляхом надсилання та отримання інформації від органоїда мозку за допомогою матриці мікроелектродів[en] високої щільності. Застосовуючи просторово-часову електричну стимуляцію, досягається нелінійна динаміка та властивості запам’ятовування, а також неконтрольоване навчання на основі тренувальних даних шляхом зміни функціональних зв’язків в органоїдах. Був продемонстрований практичний потенціал цієї методики, використовуючи її для розпізнавання мовлення та прогнозування нелінійних рівнянь у системі резервуарних обчислень.[8]

Застосування[ред. | ред. код]

Резервуарні обчислення з їх унікальною архітектурою та адаптивною природою знаходять широке застосування в різних сферах, революціонізуючи спосіб вирішення складних завдань. Його здатність ефективно обробляти інформацію призвела до ефективних застосувань у кількох сферах[9][10]:

Обробка сигналу[ред. | ред. код]

  • Розпізнавання мовлення: Забезпечення точної транскрипції розмовної мови, сприяння роботі віртуальних помічників і голосових систем.[11][12]
  • Обробка зображень і відео: сприяння розпізнаванню об’єктів, розуміння сцени та аналізу відео в програмах реального часу.[13][14]
  • Бездротовий зв'язок: покращення обробки сигналу в системах бездротового зв'язку для кращої передачі та прийому даних.[15]

Прогнозування часових рядів[ред. | ред. код]

  • Фінансові ринки: прогнозування коливань фондового ринку та тенденцій для прийняття обґрунтованих інвестиційних рішень.[16][17][18]
  • Прогноз погоди: Надання точних прогнозів погоди шляхом аналізу історичних моделей даних.[19][20][21]
  • Прогнозування попиту на енергію: Прогнозування попиту на енергію для ефективного розподілу ресурсів в електромережах.[22]

Біомедичне застосування[ред. | ред. код]

Системи управління[ред. | ред. код]

  • Розумні електромережі: управління та оптимізація розподілу електроенергії в розумних мережах, забезпечення ефективного використання енергії.[27][28]
  • Управління дорожнім рухом: оптимізація транспортного потоку та зменшення заторів шляхом аналізу даних датчиків руху в реальному часі.[29]

Обробка природної мови[ред. | ред. код]

  • Мовний переклад: удосконалення систем машинного перекладу для точного перекладу з урахуванням контексту.[30]
  • Аналіз настроїв: аналіз настроїв у текстових даних для дослідження ринку та аналізу відгуків клієнтів.[31]

Наукові дослідження[ред. | ред. код]

  • Моделювання клімату: допомога в моделюванні клімату та аналізі складних даних про навколишнє середовище.[21]
  • Фізика елементарних частинок: аналіз величезної кількості даних, отриманих за допомогою прискорювачів елементарних частинок і експериментів.[32]

Кібербезпека[ред. | ред. код]

  • Виявлення аномалій: виявлення аномалій у мережевому трафіку та шаблонах для запобігання кіберзагрозам і атакам.[33]
  • Системи виявлення вторгнень: удосконалення систем безпеки для раннього виявлення та пом’якшення загроз.[33]

Див. також[ред. | ред. код]

Література[ред. | ред. код]

Додаткова література[ред. | ред. код]

Книги[ред. | ред. код]

Статті[ред. | ред. код]

Примітки[ред. | ред. код]

  1. ↑ Schrauwen, Benjamin, David Verstraeten, and Jan Van Campenhout. «An overview of reservoir computing: theory, applications, and implementations.» Proceedings of the European Symposium on Artificial Neural Networks ESANN 2007, pp. 471—482. (англ.)
  2. ↑ Mass, Wolfgang, T. Nachtschlaeger, and H. Markram. «Real-time computing without stable states: A new framework for neural computation based on perturbations.» Neural Computation 14(11): 2531—2560 (2002). (англ.)
  3. ↑ Jaeger, Herbert, «The echo state approach to analyzing and training recurrent neural networks.» Technical Report 154 (2001), German National Research Center for Information Technology. (англ.)
  4. ↑ Echo state network, Scholarpedia (англ.)
  5. ↑ Gauthier, Daniel J.; Bollt, Erik; Griffith, Aaron; Barbosa, Wendson A. S. (21 вересня 2021). Next generation reservoir computing. Nature Communications (англ.). Т. 12, № 1. с. 5564. doi:10.1038/s41467-021-25801-2. ISSN 2041-1723. Процитовано 14 грудня 2023.
  6. ↑ Kirby, Kevin. «Context dynamics in neural sequential learning.» Proceedings of the Florida Artificial Intelligence Research Symposium FLAIRS (1991), 66-70. (англ.)
  7. ↑ Gallicchio, Claudio; Micheli, Alessio (2013). Tree Echo State Networks. Neurocomputing. 101: 319—337. (англ.)
  8. ↑ Cai, Hongwei; Ao, Zheng; Tian, Chunhui; Wu, Zhuhao; Liu, Hongcheng; Tchieu, Jason; Gu, Mingxia; Mackie, Ken; Guo, Feng (11 грудня 2023). Brain organoid reservoir computing for artificial intelligence. Nature Electronics (англ.). с. 1—8. doi:10.1038/s41928-023-01069-w. ISSN 2520-1131. Процитовано 12 грудня 2023.
  9. ↑ Tanaka, Gouhei; Yamane, Toshiyuki; Héroux, Jean Benoit; Nakane, Ryosho; Kanazawa, Naoki; Takeda, Seiji; Numata, Hidetoshi; Nakano, Daiju; Hirose, Akira (1 липня 2019). Recent advances in physical reservoir computing: A review. Neural Networks. Т. 115. с. 100—123. doi:10.1016/j.neunet.2019.03.005. ISSN 0893-6080. Процитовано 14 грудня 2023.
  10. ↑ Gauthier, Daniel J.; Bollt, Erik; Griffith, Aaron; Barbosa, Wendson A. S. (21 вересня 2021). Next generation reservoir computing. Nature Communications (англ.). Т. 12, № 1. с. 5564. doi:10.1038/s41467-021-25801-2. ISSN 2041-1723. PMC 8455577. PMID 34548491. Процитовано 14 грудня 2023.{{cite news}}: Обслуговування CS1: Сторінки з PMC з іншим форматом (посилання)
  11. ↑ Abreu Araujo, Flavio; Riou, Mathieu; Torrejon, Jacob; Tsunegi, Sumito; Querlioz, Damien; Yakushiji, Kay; Fukushima, Akio; Kubota, Hitoshi; Yuasa, Shinji (15 січня 2020). Role of non-linear data processing on speech recognition task in the framework of reservoir computing. Scientific Reports (англ.). Т. 10, № 1. с. 328. doi:10.1038/s41598-019-56991-x. ISSN 2045-2322. Процитовано 14 грудня 2023.
  12. ↑ Speech recognition through physical reservoir computing with neuromorphic nanowire networks | IEEE Conference Publication | IEEE Xplore. ieeexplore.ieee.org. doi:10.1109/ijcnn55064.2022.9892078. Процитовано 14 грудня 2023.
  13. ↑ Picco, Enrico; Antonik, Piotr; Massar, Serge (1 серпня 2023). High speed human action recognition using a photonic reservoir computer. Neural Networks. Т. 165. с. 662—675. doi:10.1016/j.neunet.2023.06.014. ISSN 0893-6080. Процитовано 14 грудня 2023.
  14. ↑ Li, Wenrui; Ma, Zhengyu; Deng, Liang-Jian; Wang, Penghong; Shi, Jinqiao; Fan, Xiaopeng (27 жовтня 2023). Reservoir Computing Transformer for Image-Text Retrieval. Proceedings of the 31st ACM International Conference on Multimedia. Association for Computing Machinery. с. 5605—5613. doi:10.1145/3581783.3611758. ISBN 979-8-4007-0108-5. Процитовано 14 грудня 2023.
  15. ↑ Brain-Inspired Wireless Communications: Where Reservoir Computing Meets MIMO-OFDM | IEEE Journals & Magazine | IEEE Xplore. ieeexplore.ieee.org. doi:10.1109/tnnls.2017.2766162. Процитовано 14 грудня 2023.
  16. ↑ Budhiraja, Rajat; Kumar, Manish; Das, Mrinal K.; Bafila, Anil Singh; Singh, Sanjeev (12 лют. 2021 р.). A reservoir computing approach for forecasting and regenerating both dynamical and time-delay controlled financial system behavior. PLOS ONE (англ.). Т. 16, № 2. с. e0246737. doi:10.1371/journal.pone.0246737. ISSN 1932-6203. PMC 7880499. PMID 33577571. Процитовано 14 грудня 2023.{{cite news}}: Обслуговування CS1: Сторінки з PMC з іншим форматом (посилання) Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  17. ↑ Wang, Wei-Jia; Tang, Yong; Xiong, Jason; Zhang, Yi-Cheng (15 вересня 2021). Stock market index prediction based on reservoir computing models. Expert Systems with Applications. Т. 178. с. 115022. doi:10.1016/j.eswa.2021.115022. ISSN 0957-4174. Процитовано 14 грудня 2023.
  18. ↑ Optica Publishing Group. opg.optica.org. doi:10.1364/oe.454973. Процитовано 14 грудня 2023.
  19. ↑ Mammedov, Yslam D.; Olugu, Ezutah Udoncy; Farah, Guleid A. (1 квітня 2022). Weather forecasting based on data-driven and physics-informed reservoir computing models. Environmental Science and Pollution Research (англ.). Т. 29, № 16. с. 24131—24144. doi:10.1007/s11356-021-17668-z. ISSN 1614-7499. Процитовано 14 грудня 2023.
  20. ↑ Platt, Jason A.; Penny, Stephen G.; Smith, Timothy A.; Chen, Tse-Chun; Abarbanel, Henry D. I. (1 вересня 2022). A systematic exploration of reservoir computing for forecasting complex spatiotemporal dynamics. Neural Networks. Т. 153. с. 530—552. doi:10.1016/j.neunet.2022.06.025. ISSN 0893-6080. Процитовано 14 грудня 2023.
  21. ↑ а б Bretherton, Christopher S. (16 вересня 2023). Old Dog, New Trick: Reservoir Computing Advances Machine Learning for Climate Modeling. Geophysical Research Letters (англ.). Т. 50, № 17. doi:10.1029/2023GL104174. ISSN 0094-8276. Процитовано 14 грудня 2023.
  22. ↑ Fujimoto, Yu; Fujita, Megumi; Hayashi, Yasuhiro (15 вересня 2021). Deep reservoir architecture for short-term residential load forecasting: An online learning scheme for edge computing. Applied Energy. Т. 298. с. 117176. doi:10.1016/j.apenergy.2021.117176. ISSN 0306-2619. Процитовано 14 грудня 2023.
  23. ↑ Toward Real-Time, At-Home Patient Health Monitoring Using Reservoir Computing CMOS IC | IEEE Journals & Magazine | IEEE Xplore. ieeexplore.ieee.org. doi:10.1109/jetcas.2021.3128587. Процитовано 14 грудня 2023.
  24. ↑ Masuda, Arata; Takashima, Konosuke (4 вересня 2023). Physical Reservoir-Based Health Monitoring of a Structure with Nonlinear Attachments. PHM Society Asia-Pacific Conference (англ.). Т. 4, № 1. doi:10.36001/phmap.2023.v4i1.3610. ISSN 2994-7219. Процитовано 14 грудня 2023.
  25. ↑ Cucchi, Matteo; Gruener, Christopher; Petrauskas, Lautaro; Steiner, Peter; Tseng, Hsin; Fischer, Axel; Penkovsky, Bogdan; Matthus, Christian; Birkholz, Peter (2021-08). Reservoir computing with biocompatible organic electrochemical networks for brain-inspired biosignal classification. Science Advances (англ.). Т. 7, № 34. с. eabh0693. doi:10.1126/sciadv.abh0693. ISSN 2375-2548. PMC 8373129. PMID 34407948. Процитовано 14 грудня 2023.{{cite news}}: Обслуговування CS1: Сторінки з PMC з іншим форматом (посилання)
  26. ↑ Damicelli, Fabrizio; Hilgetag, Claus C.; Goulas, Alexandros (16 лист. 2022 р.). Brain connectivity meets reservoir computing. PLOS Computational Biology (англ.). Т. 18, № 11. с. e1010639. doi:10.1371/journal.pcbi.1010639. ISSN 1553-7358. PMC 9710781. PMID 36383563. Процитовано 14 грудня 2023.{{cite news}}: Обслуговування CS1: Сторінки з PMC з іншим форматом (посилання) Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  27. ↑ Muqeet, Hafiz Abdul; Liaqat, Rehan; Jamil, Mohsin; Khan, Asharf Ali (2023-01). A State-of-the-Art Review of Smart Energy Systems and Their Management in a Smart Grid Environment. Energies (англ.). Т. 16, № 1. с. 472. doi:10.3390/en16010472. ISSN 1996-1073. Процитовано 14 грудня 2023.{{cite news}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  28. ↑ Kim, Kisong; Sasahara, Hampei; Imura, Jun-ichi (1 січня 2023). Cyberattack Detection in Smart Grids based on Reservoir Computing. IFAC-PapersOnLine. Т. 56, № 2. с. 971—976. doi:10.1016/j.ifacol.2023.10.1691. ISSN 2405-8963. Процитовано 14 грудня 2023.
  29. ↑ Sun, Xiaochuan; Gao, Jiahui; Wang, Yu (2023-05). Towards Fault Tolerance of Reservoir Computing in Time Series Prediction. Information (англ.). Т. 14, № 5. с. 266. doi:10.3390/info14050266. ISSN 2078-2489. Процитовано 14 грудня 2023.{{cite news}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  30. ↑ Cucchi, Matteo; Abreu, Steven; Ciccone, Giuseppe; Brunner, Daniel; Kleemann, Hans (2022-08). Hands-on reservoir computing: a tutorial for practical implementation. Neuromorphic Computing and Engineering (англ.). Т. 2, № 3. с. 032002. doi:10.1088/2634-4386/ac7db7. ISSN 2634-4386. Процитовано 14 грудня 2023.
  31. ↑ Zhou, Jian; Zhao, Tiantian; Xie, Yong; Xiao, Fu; Sun, Lijuan (1 вересня 2022). Emotion Recognition Based on Brain Connectivity Reservoir and Valence Lateralization for Cyber-Physical-Social Systems. Pattern Recognition Letters. Т. 161. с. 154—160. doi:10.1016/j.patrec.2022.08.009. ISSN 0167-8655. Процитовано 14 грудня 2023.
  32. ↑ Casanova, Maxime; Dalena, Barbara; Bonaventura, Luca; Giovannozzi, Massimo (23 червня 2023). Ensemble reservoir computing for dynamical systems: prediction of phase-space stable region for hadron storage rings. The European Physical Journal Plus (англ.). Т. 138, № 6. doi:10.1140/epjp/s13360-023-04167-y. ISSN 2190-5444. Процитовано 14 грудня 2023.
  33. ↑ а б Casper Andersson (2021). RESERVOIR COMPUTING APPROACH FOR NETWORK INTRUSION DETECTION (PDF).
Отримано з https://uk.wikipedia.org/w/index.php?title=Резервуарне_обчислення&oldid=41135141