Нейронний газ: відмінності між версіями

[неперевірена версія]

← Попереднє редагування Наступне редагування →

Вилучено вміст Додано вміст

Лінійно

Версія за 12:27, 15 травня 2019

Нейронний газ — це штучна нейронна мережа, натхненна самоорганізаційною картою і введена в 1991 році Томасом Мартинецем^[en] і Клаусом Шультеном● ^[1]. Нейронний газ є простим алгоритмом для знаходження оптимальних відображень даних на основі векторів ознак. Алгоритм був названий "нейронним газом" через схожість динаміки векторів ознак в процесі адаптації, які розподіляють себе як газ в просторі даних. Він застосовується там, де стиснення даних або векторне квантування^[en] є проблемою, наприклад, розпізнавання мовлення, ^[2] обробка зображень ^[3] або розпізнавання образів. Кластеризація методом k-середніх також використовується для кластерного аналізу, як надійно збіжна альтернатива.^[4]

Алгоритм

Дано розподіл ймовірностей $P(x)$ векторів даних $x$ і кінцеве число векторів ознак $w_{i},i=1,\cdots ,N$ .

З кожним кроком часу $t$ ,представлений вектор даних $x$ випадково вибирають з $P(x)$ . Потім визначається порядок відстані векторів ознак до заданого вектора даних $x$ . Нехай $i_{0}$ позначає індекс найближчого вектора ознаки, $i_{1}$ індекс другого найближчого вектора ознак, а $i_{N-1}$ ндекс вектора ознак, найбільш віддаленого вектора $x$ . Потім кожен вектор ознак адаптується відповідно до

w_{i_{k}}^{t+1}=w_{i_{k}}^{t}+\varepsilon \cdot e^{-k/\lambda }\cdot (x-w_{i_{k}}^{t}),k=0,\cdots ,N-1

з $\varepsilon$ як розмір етапу адаптації і $\lambda$ як так званий діапазон сусідства. $\varepsilon$ та $\lambda$ зменшуються зі збільшенням $t$ . After sufficiently many Після досить багатьох етапів адаптації вектори ознак охоплюють простір даних з мінімальною помилкою подання.^[5]

Етап адаптації нейронного газу можна інтерпретувати як градієнтний спуск за функцією втрат. Шляхом адаптації не тільки найближчого вектора ознак, але й усіх векторів зі зменшенням розміру кроку при збільшенні порядку відстані. У порівнянні з (онлайн) кластеризацією методом k-середніх можна досягти набагато більш надійної збіжності алгоритму. Модель нейронного газу не видаляє вузол, а також не створює нових вузлів.

Варіанти

У літературі існує ряд варіантів алгоритму нейронного газу, що дозволяє пом'якшити деякі його недоліки. Більш помітним є, можливо, зростаючий нейронний газ Бернда Фріцке ^[6], але також слід згадати подальші розробки, такі як зростаюча при необхідності мережа ^[7], а також додатковий зростаючий нейронний газ ^[8].

Зростаючий нейронний газ

Фрітцке описує зростаючий нейронний газ (ЗНГ) як модель інкрементної мережі, яка вивчає топологічні відносини, використовуючи "правило навчання, подібне до Хебба"^[6], на відміну від нейронного газу, він не має параметрів, які змінюються з часом, він здатний до безперервного навчання.

Зростаюча при необхідності мережа

Наявність мережі зі зростаючою множиною вузлів, подібно до того, що реалізовано алгоритмом ЗНГ, розглядалося як велика перевага, однак, деяке обмеження на навчання було помічено введенням параметра λ, в якому мережа зможе зростати тільки тоді, коли ітерації були б кратними цьому параметру.^[7] Пропозицією пом'якшити цю проблему був новий алгоритм — мережа «Зростаючий при необхідності» (ЗПН), яка дозволила б зрости мережу швидше, шляхом додавання вузлів якомога швидше, коли мережа виявила, що існуючі вузли не будуть досить добре описувати вхідні дані.

Інкрементний зростаючий нейронний газ

Іншим варіантом нейронного газу, натхненного алгоритмом ЗНГ, є інкрементний зростаючий нейронний газ (ІЗНГ). Авторами припускають, що основною перевагою цього алгоритму є "вивчення нових даних (пластичність) без погіршення раніше підготовленої мережі та забування старих вхідних даних (стабільності)."^[8]

Посилання

↑ Thomas Martinetz and Klaus Schulten (1991). A "neural gas" network learns topologies (PDF). Artificial Neural Networks. Elsevier. с. 397—402.
↑ F. Curatelli and O. Mayora-Iberra (2000). Competitive learning methods for efficient Vector Quantizations in a speech recognition environment. У Osvaldo Cairó, L. Enrique Sucar, Francisco J. Cantú-Ortiz (ред.). MICAI 2000: Advances in artificial intelligence : Mexican International Conference on Artificial Intelligence, Acapulco, Mexico, April 2000 : proceedings. Springer. с. 109. ISBN 978-3-540-67354-5.
↑ Angelopoulou, Anastassia and Psarrou, Alexandra and Garcia Rodriguez, Jose and Revett, Kenneth (2005). Automatic landmarking of 2D medical shapes using the growing neural gas network. У Yanxi Liu, Tianzi Jiang, Changshui Zhang (ред.). Computer vision for biomedical image applications: first international workshop, CVBIA 2005, Beijing, China, October 21, 2005 : proceedings. Springer. с. 210. doi:10.1007/11569541_22. ISBN 978-3-540-29411-5.
↑ Fernando Canales and Max Chacon (2007). Modification of the growing neural gas algorithm for cluster analysis. У Luis Rueda, Domingo Mery, Josef Kittler, International Association for Pattern Recognition (ред.). Progress in pattern recognition, image analysis and applications: 12th Iberoamerican Congress on Pattern Recognition, CIARP 2007, Viña del Mar-Valparaiso, Chile, November 13–16, 2007 ; proceedings. Springer. с. 684—693. doi:10.1007/978-3-540-76725-1_71. ISBN 978-3-540-76724-4.
↑ http://wwwold.ini.rub.de/VDM/research/gsn/JavaPaper/img187.gif^{[недоступне посилання з 01.01.2016]}
↑ ^а ^б Fritzke, Bernd (1995). A Growing Neural Gas Network Learns Topologies. Advances in Neural Information Processing Systems. 7: 625—632. Процитовано 26 квітня 2016.
↑ ^а ^б Marsland, Stephen; Shapiro, Jonathan; Nehmzow, Ulrich (2002). A self-organising network that grows when required. Neural Networks. 15 (8): 1041—1058. CiteSeerX 10.1.1.14.8763. doi:10.1016/s0893-6080(02)00078-3.
↑ ^а ^б Prudent, Yann; Ennaji, Abdellatif (2005). An incremental growing neural gas learns topologies. Т. 2. с. 1211—1216. doi:10.1109/IJCNN.2005.1556026. ISBN 978-0-7803-9048-5. Процитовано 26 квітня 2016. {{cite book}}: Проігноровано |journal= (довідка)

Зовнішні посилання

DemoGNG.js Javascript симулятор нейронного газу (та інших мережевих моделей)
Java Competitive Learning Applications Unsupervised Neural Networks (including Self-organizing map) in Java with source codes.
формальний опис алгоритму нейронного газу
ЗНГ та ЗПН реалізація класифікатора в Matlab

[1] Thomas Martinetz and Klaus Schulten (1991). A "neural gas" network learns topologies (PDF). Artificial Neural Networks. Elsevier. с. 397—402.

[2] F. Curatelli and O. Mayora-Iberra (2000). Competitive learning methods for efficient Vector Quantizations in a speech recognition environment. У Osvaldo Cairó, L. Enrique Sucar, Francisco J. Cantú-Ortiz (ред.). MICAI 2000: Advances in artificial intelligence : Mexican International Conference on Artificial Intelligence, Acapulco, Mexico, April 2000 : proceedings. Springer. с. 109. ISBN 978-3-540-67354-5.

[3] Angelopoulou, Anastassia and Psarrou, Alexandra and Garcia Rodriguez, Jose and Revett, Kenneth (2005). Automatic landmarking of 2D medical shapes using the growing neural gas network. У Yanxi Liu, Tianzi Jiang, Changshui Zhang (ред.). Computer vision for biomedical image applications: first international workshop, CVBIA 2005, Beijing, China, October 21, 2005 : proceedings. Springer. с. 210. doi:10.1007/11569541_22. ISBN 978-3-540-29411-5.

[4] Fernando Canales and Max Chacon (2007). Modification of the growing neural gas algorithm for cluster analysis. У Luis Rueda, Domingo Mery, Josef Kittler, International Association for Pattern Recognition (ред.). Progress in pattern recognition, image analysis and applications: 12th Iberoamerican Congress on Pattern Recognition, CIARP 2007, Viña del Mar-Valparaiso, Chile, November 13–16, 2007 ; proceedings. Springer. с. 684—693. doi:10.1007/978-3-540-76725-1_71. ISBN 978-3-540-76724-4.

[5] ttp://wwwold.ini.rub.de/VDM/research/gsn/JavaPaper/img187.gif^{[недоступне посилання з 01.01.2016]}

[:0-6] а ^б Fritzke, Bernd (1995). A Growing Neural Gas Network Learns Topologies. Advances in Neural Information Processing Systems. 7: 625—632. Процитовано 26 квітня 2016.

[:1-7] а ^б Marsland, Stephen; Shapiro, Jonathan; Nehmzow, Ulrich (2002). A self-organising network that grows when required. Neural Networks. 15 (8): 1041—1058. CiteSeerX 10.1.1.14.8763. doi:10.1016/s0893-6080(02)00078-3.

[:2-8] а ^б Prudent, Yann; Ennaji, Abdellatif (2005). An incremental growing neural gas learns topologies. Т. 2. с. 1211—1216. doi:10.1109/IJCNN.2005.1556026. ISBN 978-0-7803-9048-5. Процитовано 26 квітня 2016. {{cite book}}: Проігноровано |journal= (довідка)

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

@@ Рядок 1: / Рядок 1: @@
+Нейронний газ — це [[штучна нейронна мережа]], натхненна [[Самоорганізаційна Карта Кохонена|самоорганізаційною картою]] і введена в 1991 році {{Не перекладено|Томас Мартинец|Томасом Мартинецем|en|Thomas Martinetz}} і {{Не перекладено|Клаус Шультен|Клаусом Шультеном|en|Klaus Schulten}} <ref>{{cite conference
-{{Пишу}}
+|title=A "neural gas" network learns topologies
+|booktitle=Artificial Neural Networks
-Нейронний газ  — це [[штучна нейронна мережа]], натхненна [[Самоорганізаційна Карта Кохонена|самоорганізаційною картою]] і введена в 1991 році {{Не перекладено|Томас Мартинец|Томасом Мартинецем|en|Thomas Martinetz}} і {{Не перекладено|Клаус Шультен|Клаусом Шультеном|en|Klaus Schulten}} [1]. Нейронний газ є простим алгоритмом для знаходження оптимальних відображень даних на основі [[Ознака (машинне навчання)|векторів ознак]]. Алгоритм був названий "нейронним газом" через схожість динаміки векторів ознак в процесі адаптації, які розподіляють себе як газ в просторі даних. Він застосовується там, де [[стиснення даних]] або {{Не перекладено|Векторне квантування|векторне квантування|en|Vector quantization}} є проблемою, наприклад, [[розпізнавання мовлення]], [2] [[обробка зображень]] [3] або [[Теорія розпізнавання образів|розпізнавання образів]]. [[Кластеризація методом к–середніх|Кластеризація методом k-середніх]] також використовується для [[Кластерний аналіз|кластерного аналізу]], як надійно збіжна альтернатива. [4]
+|author=Thomas Martinetz and Klaus Schulten
+|publisher=[[Elsevier]]
+|year=1991
+|pages=397–402
+|url=http://www.ks.uiuc.edu/Publications/Papers/PDF/MART91B/MART91B.pdf
+}}</ref>. Нейронний газ є простим алгоритмом для знаходження оптимальних відображень даних на основі [[Ознака (машинне навчання)|векторів ознак]]. Алгоритм був названий "нейронним газом" через схожість динаміки векторів ознак в процесі адаптації, які розподіляють себе як газ в просторі даних. Він застосовується там, де [[стиснення даних]] або {{Не перекладено|Векторне квантування|векторне квантування|en|Vector quantization}} є проблемою, наприклад, [[розпізнавання мовлення]], <ref>{{cite conference
+|url=https://books.google.com/books?id=nJKLv5eheZoC&pg=PA109&dq=%22neural+gas%22+speech+recognition&hl=en&ei=ER4RTJqsF57hnQfuzbDrBw&sa=X&oi=book_result&ct=result&resnum=1&ved=0CC0Q6AEwAA#v=onepage&q=%22neural%20gas%22%20speech%20recognition&f=false
+|title=Competitive learning methods for efficient Vector Quantizations in a speech recognition environment
+|authors=F. Curatelli and O. Mayora-Iberra
+|booktitle=MICAI 2000: Advances in artificial intelligence : Mexican International Conference on Artificial Intelligence, Acapulco, Mexico, April 2000 : proceedings
+|page=109
+|ISBN=978-3-540-67354-5
+|editors=Osvaldo Cairó, L. Enrique Sucar, Francisco J. Cantú-Ortiz
+|publisher=Springer
+|year=2000}}</ref> [[обробка зображень]] <ref>{{Cite conference
+|url=https://books.google.com/books?id=xI0g7vqVkdoC&pg=PA210&dq=%22neural+gas%22+image+processing&hl=en&ei=pR8RTLynLOLpnQeOxsHpBw&sa=X&oi=book_result&ct=result&resnum=1&ved=0CC0Q6AEwAA#v=onepage&q=%22neural%20gas%22%20image%20processing&f=false
+|title=Automatic landmarking of 2D medical shapes using the growing neural gas network
+|authors=Angelopoulou, Anastassia and Psarrou, Alexandra and Garcia Rodriguez, Jose and Revett, Kenneth
+|booktitle=Computer vision for biomedical image applications: first international workshop, CVBIA 2005, Beijing, China, October 21, 2005 : proceedings
+|publisher=Springer
+|year=2005
+|editors=Yanxi Liu, Tianzi Jiang, Changshui Zhang
+|doi=10.1007/11569541_22
+|ISBN=978-3-540-29411-5
+|page=210}}</ref> або [[Теорія розпізнавання образів|розпізнавання образів]]. [[Кластеризація методом к–середніх|Кластеризація методом k-середніх]] також використовується для [[Кластерний аналіз|кластерного аналізу]], як надійно збіжна альтернатива.<ref>{{cite conference
+|url=https://books.google.com/books?id=JMQk1HJmhv0C&pg=PA684&dq=%22neural+gas%22+cluster+analysis&cd=1#v=onepage&q=%22neural%20gas%22%20cluster%20analysis&f=false
+|title=Modification of the growing neural gas algorithm for cluster analysis
+|authors=Fernando Canales and Max Chacon
+|booktitle=Progress in pattern recognition, image analysis and applications: 12th Iberoamerican Congress on Pattern Recognition, CIARP 2007, Viña del Mar-Valparaiso, Chile, November 13–16, 2007 ; proceedings
+|year=2007|
+publisher=Springer
+|editors=Luis Rueda, Domingo Mery, Josef Kittler, International Association for Pattern Recognition
+|pages=684–693
+|doi=10.1007/978-3-540-76725-1_71
+|ISBN=978-3-540-76724-4}}</ref>
 == Алгоритм ==
@@ Рядок 13: / Рядок 48: @@
 з <math>\varepsilon</math>як розмір етапу адаптації і <math>\lambda</math>  як так званий діапазон сусідства. <math>\varepsilon</math> та <math>\lambda</math> зменшуються зі збільшенням <math>t</math>. After sufficiently many Після досить багатьох етапів адаптації вектори ознак охоплюють простір даних з мінімальною помилкою подання.<ref>http://wwwold.ini.rub.de/VDM/research/gsn/JavaPaper/img187.gif{{dead link|date=January 2016}}</ref>
-Етап адаптації нейронного газу можна інтерпретувати як [[градієнтний спуск]] за [[Функція втрат|функцією втрат]]. Шляхом адаптації не тільки найближчого вектора ознак, але й усіх векторів зі зменшенням розміру кроку при збільшенні порядку відстані. Порівняно з (онлайн) [[Кластеризація методом к–середніх|кластеризацією методом k-середніх]] можна досягти набагато більш надійної збіжності алгоритму. Модель нейронного газу не видаляє вузол, а також не створює нових вузлів.
+Етап адаптації нейронного газу можна інтерпретувати як [[градієнтний спуск]] за [[Функція втрат|функцією втрат]]. Шляхом адаптації не тільки найближчого вектора ознак, але й усіх векторів зі зменшенням розміру кроку при збільшенні порядку відстані. У порівнянні з (онлайн) [[Кластеризація методом к–середніх|кластеризацією методом k-середніх]] можна досягти набагато більш надійної збіжності алгоритму. Модель нейронного газу не видаляє вузол, а також не створює нових вузлів.
+== Варіанти ==
+У літературі існує ряд варіантів алгоритму нейронного газу, що дозволяє пом'якшити деякі його недоліки. Більш помітним є, можливо, зростаючий нейронний газ Бернда Фріцке <ref name=":0">{{cite journal|last1=Fritzke|first1=Bernd|title=A Growing Neural Gas Network Learns Topologies|journal=Advances in Neural Information Processing Systems|date=1995|volume=7|pages=625–632|url=https://www.cs.swarthmore.edu/~meeden/DevelopmentalRobotics/fritzke95.ps|accessdate=2016-04-26}}</ref>, але також слід згадати подальші розробки, такі як зростаюча при необхідності мережа <ref name=":1">{{cite journal|last1=Marsland|first1=Stephen|last2=Shapiro|first2=Jonathan|last3=Nehmzow|first3=Ulrich|title=A self-organising network that grows when required|journal=Neural Networks|date=2002|volume=15|issue=8|pages=1041–1058|doi=10.1016/s0893-6080(02)00078-3|citeseerx=10.1.1.14.8763}}</ref>, а також додатковий зростаючий нейронний газ <ref name=":2">{{cite book|last1=Prudent|first1=Yann|last2=Ennaji|first2=Abdellatif|title=An incremental growing neural gas learns topologies|journal=Neural Networks, 2005. IJCNN'05. Proceedings. 2005 IEEE International Joint Conference on|date=2005|volume=2|pages=1211–1216|url=http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1556026|accessdate=2016-04-26|doi=10.1109/IJCNN.2005.1556026|isbn=978-0-7803-9048-5}}</ref>.
+=== Зростаючий нейронний газ ===
+Фрітцке описує зростаючий нейронний газ (ЗНГ) як модель інкрементної мережі, яка вивчає топологічні відносини, використовуючи "правило навчання, подібне до Хебба"<ref name=":0" />, на відміну від нейронного газу, він не має параметрів, які змінюються з часом, він здатний до безперервного навчання.
+=== Зростаюча при необхідності мережа ===
+Наявність мережі зі зростаючою множиною вузлів, подібно до того, що реалізовано алгоритмом ЗНГ, розглядалося як велика перевага, однак, деяке обмеження на навчання було помічено введенням параметра λ, в якому мережа зможе зростати тільки тоді, коли ітерації були б кратними цьому параметру.<ref name=":1" /> Пропозицією пом'якшити цю проблему був новий алгоритм —  мережа «Зростаючий при необхідності» (ЗПН), яка дозволила б зрости мережу швидше, шляхом додавання вузлів якомога швидше, коли мережа виявила, що існуючі вузли не будуть досить добре описувати вхідні дані.
+=== Інкрементний зростаючий нейронний газ ===
+Іншим варіантом нейронного газу, натхненного алгоритмом ЗНГ, є інкрементний зростаючий нейронний газ (ІЗНГ). Авторами припускають, що основною перевагою цього алгоритму є "вивчення нових даних (пластичність) без погіршення раніше підготовленої мережі та забування старих вхідних даних (стабільності)."<ref name=":2" />
+==Посилання==
+{{Reflist}}
+==Зовнішні посилання==
+* [http://demogng.de/js/demogng.html?model=NG&showAutoRestart DemoGNG.js] Javascript симулятор нейронного газу (та інших мережевих моделей)
+* [https://web.archive.org/web/20120214233648/http://homepages.feis.herts.ac.uk/~nngroup/software.php Java Competitive Learning Applications] Unsupervised Neural Networks (including Self-organizing map) in Java with source codes.
+* [http://www.demogng.de/JavaPaper/node16.html#SECTION00610000000000000000 формальний опис алгоритму нейронного газу]
+* [http://uk.mathworks.com/matlabcentral/fileexchange/57798-gwr-and-gng-classifier ЗНГ та ЗПН реалізація класифікатора в Matlab]
+[[Категорія:Штучний інтелект]]
+[[Категорія:Нейронні мережі]]
+[[Категорія:Машинне навчання]]

Нейронний газ: відмінності між версіями

Версія за 12:27, 15 травня 2019

Зміст

Алгоритм

Варіанти

Зростаючий нейронний газ

Зростаюча при необхідності мережа

Інкрементний зростаючий нейронний газ

Посилання

Зовнішні посилання

Навігаційне меню

Нейронний газ: відмінності між версіями

Версія за 12:27, 15 травня 2019

Алгоритм

Варіанти

Зростаючий нейронний газ

Зростаюча при необхідності мережа

Інкрементний зростаючий нейронний газ

Посилання

Зовнішні посилання

Навігаційне меню

Пошук