Функція цінності

Функція цінності оптимізаційної задачі дає значення, отримане виконанням цільової функції, але тільки в залежності від параметрів задачі.^[1]^[2] У керованій динамічній системі функція цінності представляє оптимальний винагороду системи на інтервалі [t, t₁] при старті в момент часу t стану x(t)=x.^[3] Якщо цільова функція представляє деяку вартість, яку потрібно мінімізувати, функцію цінності можна інтерпретувати як собівартість завершення оптимальної програми, і тому її називають «функцією собівартості».^[4]^[5] В економічному контексті, де цільова функція зазвичай представляє корисність, функція цінності концептуально еквівалентна функції непрямої корисності.^[6]^[7]

У задачі оптимального керування функція цінності визначається як супремум цільової функції, взятий на множині допустимих дій. При $(t_{0},x_{0})\in [0,t_{1}]\times \mathbb {R} ^{d}$ , типова задача оптимального керування полягає в

{\text{maximize}}\quad J(t_{0},x_{0};u)=\int _{t_{0}}^{t_{1}}I(t,x(t),u(t))\,\mathrm {d} t+\phi (x(t_{1}))

за умови, що

{\frac {\mathrm {d} x(t)}{\mathrm {d} t}}=f(t,x(t),u(t))

з початковим станом $x(t_{0})=x_{0}$ .^[8] Цільова функція $J(t_{0},x_{0};u)$ має бути максимізовано за всіма допустимими діями $u\in U[t_{0},t_{1}]$ , де $u$ є функцією вимірною за мірою Лебега, яка відображає інтервал $[t_{0},t_{1}]$ у визначену підмножину $\mathbb {R} ^{m}$ . Тоді функція цінності має вигляд

$V(t,x(t))=\max _{u\in U}\int _{t}^{t_{1}}I(\tau ,x(\tau ),u(\tau ))\,\mathrm {d} \tau +\phi (x(t_{1}))$

з $V(t_{1},x(t_{1}))=\phi (x(t_{1}))$ , де $\phi (x(t_{1}))$ — це «втрати». Якщо $(x^{\ast },u^{\ast })$ — це оптимальна пара векторів дій та станів, то $V(t_{0},x_{0})=J(t_{0},x_{0};u^{\ast })$ . Функція $h$ , яка повертає оптимальний вектор дій $u^{\ast }$ для стану $x$ називається функцією стратегії.^[9]

Принцип оптимальності Беллмана стверджує, що будь-яка оптимальна стратегія в часі $t$ , $t_{0}\leqslant t\leqslant t_{1}$ приймаючи поточний стан $x(t)$ за «новий» початковий стан буде оптимальною і для решти задачі. Якщо функція цінності є безперервно диференційованою^[10], то вона зводиться до диференціального рівняння в частинних похідних, відомого як рівняння Гамільтона–Якобі–Беллмана,

-{\frac {\partial V(t,x)}{\partial t}}=\max _{u}\left\{I(t,x,u)+{\frac {\partial V(t,x)}{\partial x}}f(t,x,u)\right\}

де максимум у правій частині також можна переписати як Гамільтоніан^[en],

$H\left(t,x,u,\lambda \right)=I(t,x,u)+\lambda (t)f(t,x,u)$ , як

-{\frac {\partial V(t,x)}{\partial t}}=\max _{u}H(t,x,u,\lambda )

з $\partial V(t,x)/\partial x=\lambda (t)$ відіграють роль спряжених змінних^[en].^[11] Враховуючи це, маємо $\mathrm {d} \lambda (t)/\mathrm {d} t=\partial ^{2}V(t,x)/\partial x\partial t+\partial ^{2}V(t,x)/\partial x^{2}\cdot f(x)$ , і після диференціювання обох сторін рівняння Гамільтона–Якобі–Беллмана відносно $x$ рівняння має вигляд

-{\frac {\partial ^{2}V(t,x)}{\partial t\partial x}}={\frac {\partial I}{\partial x}}+{\frac {\partial ^{2}V(t,x)}{\partial x^{2}}}f(x)+{\frac {\partial V(t,x)}{\partial x}}{\frac {\partial f(x)}{\partial x}}

яке після заміни відповідних членів відновлює спряжене рівняння^[en]

-{\dot {\lambda }}(t)=\underbrace {{\frac {\partial I}{\partial x}}+\lambda (t){\frac {\partial f(x)}{\partial x}}} _{={\frac {\partial H}{\partial x}}}

де ${\dot {\lambda }}(t)$ це нотація Ньютона для похідної за часом.^[12]

Функція цінності є унікальним в'язкісним рішенням^[en] рівняння Гамільтона–Якобі–Беллмана.^[13] У замкненій онлайн системі з наближено-оптимальним управлінням функція цінності також є функцією Ляпунова, яка встановлює глобальну асимптотичну стійкість замкнутої системи.^[14]

Примітки[ред. | ред. код]

↑ Fleming, Wendell H.; Rishel, Raymond W. (1975). Deterministic and Stochastic Optimal Control. New York: Springer. с. 81—83. ISBN 0-387-90155-8.
↑ Caputo, Michael R. (2005). Foundations of Dynamic Economic Analysis : Optimal Control Theory and Applications. New York: Cambridge University Press. с. 185. ISBN 0-521-60368-4.
↑ Weber, Thomas A. (2011). Optimal Control Theory : with Applications in Economics. Cambridge: The MIT Press. с. 82. ISBN 978-0-262-01573-8.
↑ Bertsekas, Dimitri P.; Tsitsiklis, John N. (1996). Neuro-Dynamic Programming. Belmont: Athena Scientific. с. 2. ISBN 1-886529-10-8.
↑ EE365: Dynamic Programming (PDF).
↑ Mas-Colell, Andreu; Whinston, Michael D.; Green, Jerry R. (1995). Microeconomic Theory. New York: Oxford University Press. с. 964. ISBN 0-19-507340-1.
↑ Corbae, Dean; Stinchcombe, Maxwell B.; Zeman, Juraj (2009). An Introduction to Mathematical Analysis for Economic Theory and Econometrics. Princeton University Press. с. 145. ISBN 978-0-691-11867-3.
↑ Kamien, Morton I.; Schwartz, Nancy L. (1991). Dynamic Optimization : The Calculus of Variations and Optimal Control in Economics and Management (вид. 2nd). Amsterdam: North-Holland. с. 259. ISBN 0-444-01609-0.
↑ Ljungqvist, Lars; Sargent, Thomas J. (2018). Recursive Macroeconomic Theory (вид. Fourth). Cambridge: MIT Press. с. 106. ISBN 978-0-262-03866-9.
↑ Benveniste and Scheinkman established sufficient conditions for the differentiability of the value function, which in turn allows an application of the envelope theorem, see Benveniste, L. M.; Scheinkman, J. A. (1979). On the Differentiability of the Value Function in Dynamic Models of Economics. Econometrica. 47 (3): 727—732. doi:10.2307/1910417. JSTOR 1910417. Also see Seierstad, Atle (1982). Differentiability Properties of the Optimal Value Function in Control Theory. Journal of Economic Dynamics and Control. 4: 303—310. doi:10.1016/0165-1889(82)90019-7.
↑ Kirk, Donald E. (1970). Optimal Control Theory. Englewood Cliffs, NJ: Prentice-Hall. с. 88. ISBN 0-13-638098-0.
↑ Zhou, X. Y. (1990). Maximum Principle, Dynamic Programming, and their Connection in Deterministic Control. Journal of Optimization Theory and Applications. 65 (2): 363—373. doi:10.1007/BF01102352.
↑ Theorem 10.1 in Bressan, Alberto (2019). Viscosity Solutions of Hamilton-Jacobi Equations and Optimal Control Problems (PDF). Lecture Notes.
↑ Kamalapurkar, Rushikesh; Walters, Patrick; Rosenfeld, Joel; Dixon, Warren (2018). Optimal Control and Lyapunov Stability. Reinforcement Learning for Optimal Feedback Control: A Lyapunov-Based Approach. Berlin: Springer. с. 26—27. ISBN 978-3-319-78383-3.

Подальше читання[ред. | ред. код]

Caputo, Michael R. (2005). Necessary and Sufficient Conditions for Isoperimetric Problems. Foundations of Dynamic Economic Analysis : Optimal Control Theory and Applications. New York: Cambridge University Press. с. 174–210. ISBN 0-521-60368-4.
Clarke, Frank H.; Loewen, Philip D. (1986). The Value Function in Optimal Control: Sensitivity, Controllability, and Time-Optimality. SIAM Journal on Control and Optimization. 24 (2): 243—263. doi:10.1137/0324014.
LaFrance, Jeffrey T.; Barney, L. Dwayne (1991). The Envelope Theorem in Dynamic Optimization (PDF). Journal of Economic Dynamics and Control. 15 (2): 355—385. doi:10.1016/0165-1889(91)90018-V.
Stengel, Robert F. (1994). Conditions for Optimality. Optimal Control and Estimation. New York: Dover. с. 201—222. ISBN 0-486-68200-5.

[1] Fleming, Wendell H.; Rishel, Raymond W. (1975). Deterministic and Stochastic Optimal Control. New York: Springer. с. 81—83. ISBN 0-387-90155-8.

[2] Caputo, Michael R. (2005). Foundations of Dynamic Economic Analysis : Optimal Control Theory and Applications. New York: Cambridge University Press. с. 185. ISBN 0-521-60368-4.

[3] Weber, Thomas A. (2011). Optimal Control Theory : with Applications in Economics. Cambridge: The MIT Press. с. 82. ISBN 978-0-262-01573-8.

[Bertsekas_Tsitsiklis-4] Bertsekas, Dimitri P.; Tsitsiklis, John N. (1996). Neuro-Dynamic Programming. Belmont: Athena Scientific. с. 2. ISBN 1-886529-10-8.

[5] EE365: Dynamic Programming (PDF).

[6] Mas-Colell, Andreu; Whinston, Michael D.; Green, Jerry R. (1995). Microeconomic Theory. New York: Oxford University Press. с. 964. ISBN 0-19-507340-1.

[7] Corbae, Dean; Stinchcombe, Maxwell B.; Zeman, Juraj (2009). An Introduction to Mathematical Analysis for Economic Theory and Econometrics. Princeton University Press. с. 145. ISBN 978-0-691-11867-3.

[8] Kamien, Morton I.; Schwartz, Nancy L. (1991). Dynamic Optimization : The Calculus of Variations and Optimal Control in Economics and Management (вид. 2nd). Amsterdam: North-Holland. с. 259. ISBN 0-444-01609-0.

[9] Ljungqvist, Lars; Sargent, Thomas J. (2018). Recursive Macroeconomic Theory (вид. Fourth). Cambridge: MIT Press. с. 106. ISBN 978-0-262-03866-9.

[10] Benveniste and Scheinkman established sufficient conditions for the differentiability of the value function, which in turn allows an application of the envelope theorem, see Benveniste, L. M.; Scheinkman, J. A. (1979). On the Differentiability of the Value Function in Dynamic Models of Economics. Econometrica. 47 (3): 727—732. doi:10.2307/1910417. JSTOR 1910417. Also see Seierstad, Atle (1982). Differentiability Properties of the Optimal Value Function in Control Theory. Journal of Economic Dynamics and Control. 4: 303—310. doi:10.1016/0165-1889(82)90019-7.

[11] Kirk, Donald E. (1970). Optimal Control Theory. Englewood Cliffs, NJ: Prentice-Hall. с. 88. ISBN 0-13-638098-0.

[12] Zhou, X. Y. (1990). Maximum Principle, Dynamic Programming, and their Connection in Deterministic Control. Journal of Optimization Theory and Applications. 65 (2): 363—373. doi:10.1007/BF01102352.

[13] Theorem 10.1 in Bressan, Alberto (2019). Viscosity Solutions of Hamilton-Jacobi Equations and Optimal Control Problems (PDF). Lecture Notes.

[14] Kamalapurkar, Rushikesh; Walters, Patrick; Rosenfeld, Joel; Dixon, Warren (2018). Optimal Control and Lyapunov Stability. Reinforcement Learning for Optimal Feedback Control: A Lyapunov-Based Approach. Berlin: Springer. с. 26—27. ISBN 978-3-319-78383-3.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

Функція цінності

Примітки[ред. | ред. код]

Подальше читання[ред. | ред. код]

Навігаційне меню

Пошук