ADALINE
ADALINE (англ. Adaptive Linear Neuron або пізніше англ. Adaptive Linear Element) — адаптивний лінійний нейрон, або адаптивний лінійний елемент. ADALINE по суті є одношаровою нейронною мережею.[1][2][3][4][5] Він був розроблений професором Бернардом Відроу і його студентом Тедом Гоффом у Стенфордському університеті у 1960 році. ADALINE базується на штучному нейроні МакКаллока-Пітса.
Різниця між Адалін і стандартним нейроном МакКаллоха-Пітса полягає в тому, що у фазі навчання ваги Адалін встановлюються відповідно до вагової суми входів (сигнали сітки). В стандартному перцептроні протягом фази навчання сигнали сітки надходять до передавальної функції і її вихід використовується для встановлення ваг.
Багатошарова мережа ADALINE називається Madaline.
Визначення
ADALINE — це одношарова нейросітка з численними вузлами, кожен з яких має багато входів і генерує вихідний сигнал. Позначимо такі змінні:
- — вхідний вектор
- — ваговий вектор
- — число входів
- — деяка константа
- — вихід
Вихід визначається наступною формулою: . Припустимо, що
Тоді вихід спрощується до скалярного добутку x і w: .
Алгоритм навчання
Припустимо:
- швидкість навчання (деяка константа)
- бажаний вихід
- поточний вихід
тоді ваги встановлюються таким чином: . ADALINE сходиться до похибки найменших квадратів: .[6] Це правило оновлення насправді є стохастичним градієнтним спуском для лінійної регресії.[7]
Примітки
- ↑ Talking Nets: An Oral History of Neural Networks.
- ↑ Youtube: widrowlms: Science in Action
- ↑ 1960: An adaptive "ADALINE" neuron using chemical "memistors"
- ↑ Youtube: widrowlms: The LMS algorithm and ADALINE. Part I - The LMS algorithm
- ↑ Youtube: widrowlms: The LMS algorithm and ADALINE. Part II - ADALINE and memistor ADALINE
- ↑ Adaline (Adaptive Linear) (PDF). CS 4793: Introduction to Artificial Neural Networks. Department of Computer Science, University of Texas at San Antonio.
- ↑ Avi Pfeffer. CS181 Lecture 5 — Perceptrons (PDF). Harvard University.[недоступне посилання з 01.06.2017]