Алгоритм Бройдена — Флетчера — Гольдфарба — Шанно

Алгоритм Бройдена - Флетчера - Гольдфарба - Шанно (англ. Broyden–Fletcher–Goldfarb–Shanno (BFGS)) - ітеративний метод числової оптимізації, призначений для знаходження локального максимуму / мінімуму нелінійної функції без обмежень (є спірними слова "без обмежень", див. примітка).

Даний метод є одним з найрозповсюдженіших серед класу квазіньютонівських методів. У квазіньютонівських методах гессіан функції не обчислюється безпосередньо, а визначається приблизно, на основі дій зроблених до цього з матрицею Гессіана за допомогою градієнтної оцінки. Вектор градієнта функції помилки вираховується за допомогою звичайної процедури зворотнього розповсюдження помилки.

Примітка: Метод Бройдена - Флетчера - Гольдфарба - Шанно не дає повного сходження та його рішення пошуку погрішності не вираховує до кінця погрішність в реальності часу, як наслідок в метод необхідно додавати нові складові для визначення збільшеності погрішності в часі, так як сама постановка задачі не має повноти визначення в алгоритмі (сама задача поставлена локально). Метод не вирішує визначення погрішності, необхідно метод розширити новими змінними для рішення розвитку сходження методу. Тобто: Погрішність повинна стати не врахуванням помилки для визначення поточного результату, погрішність методу повинна стати функцією зміни результату в залежності від зміни часу.

Детальна інформація

Матриця Гессіана (або Зворотній гессіан) - $V\approx H^{-1}$ - це матриця розміру n × n (де n - довжина вектора градієнта g).

Значення $V$ обчислюються на кожному кроці алгоритму наступним чином.

$V_{0}=1$

$V_{k+1}=V_{k}-{\frac {V_{k}\centerdot s\centerdot s^{T}\centerdot V_{k}}{s^{T}\centerdot V_{k}\centerdot s}}+{\frac {r\centerdot r^{T}}{s^{T}\centerdot s}}$ (1)

де

$r=\vartriangle g_{k}=g_{k}-g_{k-1}$ - це зміна градієнту,

$s=\vartriangle W_{k}=W_{k}-W_{k-1}$ - зміна ваг

Також існують модифікації даного методу. Наприклад алгоритм з обмеженим використанням пам'яті (L-BFGS), який призначений для рішення нелінійних задач з великою кількістю невідомих (зазвичай більше 1000). Або ж модифікація з обмеженим використанням пам'яті в багатовимірному кубі (L-BFGS-B).

Даний метод знаходить мінімум будь-якої подвійно диференційованої безперервно-випуклої функції. Метод Ньютона та методи BFGS не гарантують сходження, якщо функція не має квадратичного розкладу Тейлора близького до оптимального. Проте, BFGS довели свою ефективність навіть для негладких оптимізацій.

Алгоритм методу

Алгоритм складається з наступної послідовності кроків :

1. Ініціалізуємо вагові коефіцієнти (випадковими малими значеннями) і встановимо початкове значення наближення зворотнього гессіана.
2. Обчислимо значення градієнту g.
3. Виконаємо корекцію значень вагових коефіцієнтів ($\vartriangle W=g\centerdot \tau$; $W_{k+1}=W_{k}-\vartriangle W$; де - $\tau$ параметр швидкості навчання)
4. Зберігаємо старе значення градієнту ($g_{old}=g$) та обчислюємо нове значення ($g=g(W)$) і зміну градієнту ($\vartriangle g=g-g_{old}$).
5. Обчислимо значення зворотнього гессіана $V(\vartriangle g,\vartriangle W)$ за формулою 1.
6. Обчислимо зміну вагових коефіцієнтів ($\vartriangle W=V\centerdot g$) і виконаємо корекцію параметрів ($W=W-\vartriangle W$)
7. Обчислимо похибку ($E(W)$)
8. Якщо отримане значення похибки менше, ніж задана точність ($E(W)<\varepsilon$), то алгоритм зупиняється.
9. Якщо точність не досягнута, то повторюємо алгоритм з 4 кроку.

Програмна реалізація

Реалізація мовою С у рамках проекту GNU Scientific Library (детальніше [Архівовано 8 грудня 2017 у Wayback Machine.]).

Високоточна версія алгоритму мовою С++ - посилання [Архівовано 23 серпня 2017 у Wayback Machine.].

Реалізація алгоритму BFGS та схожих алгоритмів (L-BFGS, L-BFGS-B, CG, метод Ньютона) мовою С++ - посилання [Архівовано 11 липня 2017 у Wayback Machine.].

Алгоритм реалізований у бібліотеці SciPy (детальніше [Архівовано 29 жовтня 2020 у Wayback Machine.]) мовою Python.

Реалізація мовою R - посилання [Архівовано 4 травня 2020 у Wayback Machine.].

Функція з пакету Optimization toolbox мовою Matlab - посилання.