Матриця Гессе

Вибрані статті із
Числення
Фундаментальна теорема Границя функції Неперервність Теорема Лагранжа Теорема Ролля Теорема про обернену функцію
Диференціальне Визначення Похідна (Таблиця похідних) Диференціал Поняття Нотація Друга похідна Третя похідна Підстановка змінних Неявна функція Теорема Тейлора Правила та тотожності Сума Добуток Частка Степінь Складна функція Обернена функція Формула Фаа ді Бруно
Інтегральне Таблиця інтегралів Визначення Первісна Інтеграл (невласний Рімана Лебега Стілтьєса Даніелла) Інтегрування частинами дисками Методи інтегрування
Рядів Геометричні (Арифметично-геометричні) Гармонічні Знакопереміжні Степеневі Біноміальні Тейлора Ознаки збіжності Ліміт сумування д'Аламбера Радикальна Інтегральна Теорема Лейбніца Діріхле Абеля
Векторів Градієнт Дивергенція Ротор Оператор Лапласа Похідна за напрямком Формули Теореми Градієнтна Гріна Остроградського Стокса
Багатьох змінних Формалізми Матриці Тензорний Зовнішня похідна Визначення Часткова похідна Багатократний інтеграл Криволінійний інтеграл Поверхневий інтеграл Якобіан Матриця Гессе
Спеціалізоване Дробове Стохастичне Варіаційне
інше Історія Математичний аналіз Нестандартний аналіз

Матриця Гессе — квадратна матриця елементами якої є часткові похідні деякої функції. Поняття було введене Людвігом Отто Гессе (1844), який використовував іншу назву. Термін матриця Гессе був введений Джеймсом Джозефом Сильвестром.

Визначення

Формально, нехай дано дійсну функцію від n змінних:

$f(x_{1},x_{2},\dots ,x_{n}),\,\!$

якщо у функції f існують всі похідні другого порядку, то можна визначити матрицю Гессе для цієї функції:

$H(f)_{ij}(x)={\frac {\partial ^{2}f}{\partial x_{i}\,\partial x_{j}}}\,\!$

де $x=(x_{1},x_{2},...,x_{n}),$ тобто $H(f)={\begin{bmatrix}{\frac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\\\{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}.$

Визначник цієї матриці називається визначником Гессе, або гесіаном.

Значення матриці Гессе пояснюється її появою у формулі Тейлора:

$y=f(\mathbf {x} +\Delta \mathbf {x} )\approx f(\mathbf {x} )+J(\mathbf {x} )\Delta \mathbf {x} +{\frac {1}{2}}\Delta \mathbf {x} ^{\mathrm {T} }H(\mathbf {x} )\Delta \mathbf {x}$

Матриці Гессе використовуються в задачах оптимізації методом Ньютона. Повне обчислення матриці Гессе може бути досить складним, тому були розроблені квазіньютонові алгоритми, засновані на наближених виразах для матриці Гессе. Найвідоміший з них — алгоритм Бройдена — Флетчера — Гольдфарба — Шанно.

Симетрія матриці Гессе

Мішані похідні функції f — це елементи матриці Гессе, що стоять не на головній діагоналі. Якщо вони неперервні, то порядок диференціювання не важливий:

${\frac {\partial }{\partial x}}\left({\frac {\partial f}{\partial y}}\right)={\frac {\partial }{\partial y}}\left({\frac {\partial f}{\partial x}}\right).$

Це можна також записати як

$f_{yx}=f_{xy}.\,$

В цьому випадку матриця Гессе є симетричною.

Критичні точки функції

Якщо градієнт $f$ (її векторна похідна) рівний нулю в деякій точці $x_{0}$, то ця точка називається критичною.

• Якщо матриця Гессе є додатно визначеною в точці $x_{0}$, то $x_{0}$ — точка локального мінімуму функції $f(x)$.
• Якщо матриця Гессе є від'ємно визначеною в точці $x_{0}$, то $x_{0}$ — точка локального максимуму функції $f(x)$.
• Якщо матриця Гессе не є ні додатно визначеною, ні від'ємно визначеною, причому є невиродженою (тобто $(\det H(f)\neq 0)$), то $x_{0}$ — сідлова точка функції $f(x)$.

Обрамлена матриця Гессе

У випадку оптимізації з додатковими умовами виникає також поняття обрамленої матриці Гессе. Нехай знову маємо функцію:

$f(x_{1},x_{2},\dots ,x_{n}),$

але тепер також розглянемо умови:

$g_{i}(x_{1},x_{2},\dots ,x_{n})=0,1\leqslant i\leqslant m,\,m<n$

При оптимізації функції f з додатковими умовами обрамлена матриця Гессе має вигляд:

$H(f,g)={\begin{bmatrix}0&\cdots &0&{\frac {\partial g_{1}}{\partial x_{1}}}&{\frac {\partial g_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial g_{1}}{\partial x_{n}}}\\\\\vdots &\ddots &\vdots &\vdots &\vdots &\ddots &\vdots \\\\0&\cdots &0&{\frac {\partial g_{m}}{\partial x_{1}}}&{\frac {\partial g_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial g_{m}}{\partial x_{n}}}\\\\{\frac {\partial g_{1}}{\partial x_{1}}}&\cdots &{\frac {\partial g_{m}}{\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\\\{\frac {\partial g_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial g_{m}}{\partial x_{2}}}&{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\\\\vdots &\ddots &\vdots &\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial g_{1}}{\partial x_{n}}}&\cdots &{\frac {\partial g_{m}}{\partial x_{n}}}&{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}$

Для даної матриці можна сформувати різні головні мінори. Позначимо $|H_{i}(f,g)|,\,2\leqslant i\leqslant n$ — головний мінор матриці, для якого останнім елементом на головній діагоналі є ${\frac {\partial ^{2}f}{\partial x_{i}^{2}}}.$ Тоді можна сформувати достатні умови екстремуму для функції при виконанні обмежень.

Функція буде мати максимум при виконанні умов, якщо знаки послідовних n - m мінорів $|H_{i}(f,g)|,m+1\leqslant i\leqslant n,$ будуть чергуватися, при чому знак $|H_{i}(f,g)|$ буде рівний $(-1)^{m+1}.$

Функція буде мати мінімум при виконанні умов, всі послідовні n - m мінорів $|H_{i}(f,g)|,m+1\leqslant i\leqslant n,$ мають один знак, а саме $(-1)^{m}.$

Варіації і узагальнення

Якщо f — векторзначна функція, тобто

$f=(f_{1},f_{2},\dots f_{n}),$

то її другі часткові похідні утворюють не матрицю, а тензор рангу n+1.

Література

• Кудрявцев Л.Д. «Краткий курс математического анализа. Т.2. Дифференциальное и интегральное исчисления функций многих переменных. Гармонический анализ», ФИЗМАТЛИТ, 2002, — 424 с.
• Chiang, Alpha C., Fundamental Methods of Mathematical Economics, third edition, McGraw-Hill, 1984.
• Nocedal, Jorge; Wright, Stephen J. (2006), Numerical Optimization (2nd ed.), Berlin, New York: Springer-Verlag, ISBN 978-0-387-30303-1