Метод внутрішньої точки

Методи внутрішніх точок (їх також називають бар'єрними методами або ІРМ) — це певний клас алгоритмів, що вирішують задачі лінійної та нелінійної опуклої оптимізації.

Джон фон Нейман запропонував внутрішній точковий метод лінійного програмування, який не був ні методом поліноміального часу, ні ефективним методом на практиці. Насправді він виявився повільнішим, ніж широко використовуваний симплекс-метод. У 1984 р. Нарендра Кармаркар розробив метод лінійного програмування, який називається алгоритмом Кармаркара, який працює за поліноміальний час і також є дуже ефективним на практиці. Це дало змогу вирішити задачі лінійного програмування, що вийшли за межі можливостей симплексного методу. На відміну від симплексного методу, він досягає найкращого рішення шляхом обходу внутрішніх областей допустимих рішень. Метод може бути узагальнений до випуклого програмування на основі самокоректної бар'єрної функції, що використовується для кодування опуклого набору.

Будь-яка проблема оптимізації опуклості може бути перетворена на мінімізацію (або максимізацію) лінійної функції над опуклою множиною шляхом перетворення її у форму епіграфа. Ідея кодування множини допустимих ріщень за допомогою бар'єру та проектування бар'єрних методів була вивчена Антонієм В. Юрієм Нестеровим та Аркадієм Немировським, вони придумали особливий клас таких бар'єрів, який можна використовувати для кодування будь-якої опуклої множини. Вони гарантують, що кількість ітерацій алгоритму обмежена поліномом у розмірності та точності рішення.

Прорив Кармаркара активізував вивчення методів внутрішніх точок та бар'єрних проблем, показавши, що можна створити алгоритм лінійного програмування, який характеризується поліноміальною складністю і, крім того, конкурентоспроможним із симплексним методом. Вже еліпсоїдний метод Хачіяна був алгоритмом поліноміального часу; проте це було занадто повільно, щоб представляти практичний інтерес.

Клас первинних-подвійних методів, що слідують за внутрішніми точками, вважається найбільш успішним. Алгоритм прогнозування-коректор Мехротри дає основу для більшості реалізацій цього класу методів.

Первинний-подвійний метод внутрішньої точки для нелінійної оптимізації

Ідея первинно-подвійного методу легко продемонструвати для обмеженої нелінійної оптимізації. Для простоти розглянемо варіант нерівності нелінійної задачі оптимізації:
мінімізувати функцію ${\displaystyle f(x)}$ за умови ${\displaystyle c_{i}(x)\geq 0~{\text{for}}~i=1,\ldots ,m,~x\in \mathbb {R} ^{n},}$ де

${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} ,c_{i}:\mathbb {R} ^{n}\rightarrow \mathbb {R} \quad (1).}$

Логарифмічна бар'єрна функція, пов'язана з (1),

${\displaystyle B(x,\mu )=f(x)-\mu \sum _{i=1}^{m}\log(c_{i}(x)).\quad (2)}$

Тут $\mu$ — невеликий позитивний скаляр, який іноді називають «параметром бар'єру». Оскільки $\mu$ збігається до нуля, то мінімум ${\displaystyle B(x,\mu )}$ повинен переходити до рішення (1).

Градієнт бар'єрної функції дорівнює

${\displaystyle g_{b}=g-\mu \sum _{i=1}^{m}{\frac {1}{c_{i}(x)}}\nabla c_{i}(x),\quad (3)}$

де $g$ — градієнт вихідної функції $f(x)$, а $\nabla c_{i}$ — градієнт $c_{i}$.

На додаток до оригінальної («первинної») змінної $x$ ми вводимо подвійну змінну, натхненну множником Лагранжа

${\displaystyle \lambda \in \mathbb {R} ^{m}}$

${\displaystyle c_{i}(x)\lambda _{i}=\mu ,\forall i=1,\ldots ,m.\quad (4)}$

(4) іноді називають умовою «збуреної взаємодоповнюваності» за її схожість з «комплементарною слабкістю» в умовах KKT.

Ми намагаємося знайти ті ${\displaystyle (x_{\mu },\lambda _{\mu })}$, для яких градієнт бар'єрної функції дорівнює нулю.

Застосовуючи (4) до (3), отримуємо рівняння для градієнта:

${\displaystyle g-A^{T}\lambda =0,\quad (5)}$

де матриця $A$ — якобіан обмежень $c(x)$.

Інтуїція позаду (5) полягає в тому, що градієнт $f(x)$ повинен лежати в підпросторі, що охоплюється градієнтами обмежень. «Збурену взаємодоповнюваність» з малим $\mu$ (4) можна розуміти як умову, що рішення повинно лежати біля межі ${\displaystyle c_{i}(x)=0}$, або що проєкція градієнта $g$ на компонент обмеження ${\displaystyle c_{i}(x)}$ нормально повинна бути майже нульовою.

Застосовуючи метод Ньютона до (4) і (5), ми отримуємо рівняння $(x,\lambda )$ для оновлення ${\displaystyle (p_{x},p_{\lambda })}$:

${\displaystyle {\begin{pmatrix}W&-A^{T}\\\Lambda A&C\end{pmatrix}}{\begin{pmatrix}p_{x}\\p_{\lambda }\end{pmatrix}}={\begin{pmatrix}-g+A^{T}\lambda \\\mu 1-C\lambda \end{pmatrix}},}$

Де $W$ матриця Гессея ${\displaystyle B(x,\mu )}$, ${\displaystyle \Lambda }$ є діагональною матрицею ${\displaystyle \lambda }$ і $C$ is a diagonal matrix with ${\displaystyle C_{ii}=c_{i}(x)}.$

Через (1), (4) умова

$\lambda \geq 0$

повинна застосовуватися на кожному кроці. Це можна зробити, вибравши відповідне $\alpha :$

${\displaystyle (x,\lambda )\to (x+\alpha p_{x},\lambda +\alpha p_{\lambda }).}$

Див. також

• Умови Каруша — Куна — Такера