ADALINE

Навчання одного шару ADALINE

ADALINE (англ. Adaptive Linear Neuron або пізніше англ. Adaptive Linear Element) — адаптивний лінійний нейрон, або адаптивний лінійний елемент. ADALINE по суті є одношаровою нейронною мережею. Він був розроблений професором Бернардом Відроу і його студентом Тедом Гоффом у Стенфордському університеті у 1960 році. ADALINE базується на штучному нейроні МакКаллока-Пітса.

Різниця між Адалін і стандартним нейроном МакКаллоха-Пітса полягає в тому, що у фазі навчання ваги Адалін встановлюються відповідно до вагової суми входів (сигнали сітки). В стандартному перцептроні протягом фази навчання сигнали сітки надходять до передавальної функції і її вихід використовується для встановлення ваг.

Багатошарова мережа ADALINE називається Madaline.

Визначення

ADALINE — це одношарова нейросітка з численними вузлами, кожен з яких має багато входів і генерує вихідний сигнал. Позначимо такі змінні:

• $x$ — вхідний вектор
• $w$ — ваговий вектор
• $n$ — число входів
• $\theta$ — деяка константа
• $y$ — вихід

Вихід визначається наступною формулою: $y=\sum _{j=1}^{n}x_{j}w_{j}+\theta$. Припустимо, що

• $x_{n+1}=1$
• $w_{n+1}=\theta$

Тоді вихід спрощується до скалярного добутку x і w: $y=\sum _{j=0}^{n}x_{j}w_{j}$.

Алгоритм навчання

Припустимо:

• $\eta$ швидкість навчання (деяка константа)
• $d$ бажаний вихід
• $o$ поточний вихід

тоді ваги встановлюються таким чином: $w\leftarrow w+\eta (d-o)x$. ADALINE сходиться до похибки найменших квадратів: $E=(d-o)^{2}$. Це правило оновлення насправді є стохастичним градієнтним спуском для лінійної регресії.

Посилання

• Delta Learning Rule: ADALINE
• Adaline (Adaptive Linear) [Архівовано 15 червня 2010 у Wayback Machine.]
• Perceptron and ADALINE

Див. також

• MADALINE