Марковський процес

Ма́рковський проце́с — це випадковий процес у якому ймовірність його конкретних значень у будь-який момент $t_{0}$ за умови відомих значень у попередні моменти $...<t_{-3}<t_{-2}<t_{-1}$ залежить тільки від значення у найближчий (останній) момент $t_{-1}$. Іншими словами, «майбутнє» процесу залежить лише від останнього відомого стану, і не залежить від більш ранніх.

Історія

Властивість, яка характеризує процес як марковський, називають марковською або властивістю Маркова. Вперше цю властивість сформулював російський математик Марков А. А., який 1907 року започаткував дослідження послідовностей залежних випробувань і пов'язаних із ними сум випадкових величин. Цей напрямок досліджень відомий зараз як теорія ланцюгів Маркова.

Вже в роботі Л. Башельє є спроба трактувати броунівський рух як марковський процес, що отримало обґрунтування після досліджень Вінера 1923 року.

Вступ

Марківський процес є стохастичною моделлю, що має властивість Маркова. Він може бути використаний для моделювання випадкової системи, що змінює стан відповідно до правила переходу, що залежить від поточного стану. Ця стаття описує процес Маркова в дуже загальному значенні. Наступна таблиця дає огляд різних випадках марковських процесів для різних рівнів просторових станів та дискретного часу проти безперервного часу.

	кінцевий простір	безперервний або загальний стан
Дискретний час	Ланцюг Маркова з кінцевим простором станів	Ланцюг Харісса (ланцюг Маркова на загальному просторі станів)
Безперервний час	Процесу Маркова із безперервним часом	Будь-який безперервний стохастичний процес з марківською властивістю, наприклад процес Вінера)

Марківські процеси виникають в теорії ймовірності та статистики в один з двох способів. Може бути доведено, що стохастичний процес має властивість Маркова, і, як наслідок, має властивості, виведені з цього для всіх процесів Маркова. З іншого боку, при моделюванні процесу можна припустити, що процес є Марківським, і прийняти це як основу для його побудови. В задачах моделювання властивість Маркова вважається одним з небагатьох простих способів введення статистичної залежності в модель стохастичного процесу.

Марковська властивість

Нехай $(\Omega ,F,P)$ — імовірнісний простір з фільтрацією $(F_{t},t\in T)$ по деякій (частково впорядкованій) множинні $T$; і нехай $(S,\mathbf {S} )$ — вимірний простір. Вважається, що випадковий процес $X=(X_{t},t\in T)$, заданий на ймовірністному просторі, задовольняє марковській властивості, якщо для кожного $A\in \mathbf {S} )$ та $s,t\in T:s<t$, $P(X_{t}\in A|F_{s})=P(X_{t}\in A|X_{s})$.

Марковський процес — це випадковий процес, що задовольняє марковській властивості з природною фільтрацією.

Ланцюги Маркова (процеси з дискретним часом): У випадку, коли $S$ є дискретною множиною $T=N$, визначення може бути переформульовано: $P(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},\dots ,X_{0}=x_{0})=P(X_{n}=x_{n}\mid X_{n-1}=x_{n-1}).$

Приклад марковського процесу

Розглянемо простий приклад марковського випадкового процесу. По осі абсцис випадковим чином переміщується точка. У початковий момент $t=0$ точка знаходиться на початку координат, $X=0$, і залишається там протягом однієї секунди. Через секунду кидається монета — якщо випав герб, то точка $X$ переміщається на одиницю довжини вправо, якщо решка — вліво. Через секунду знову кидається монета і проводиться таке ж випадкове переміщення, і так далі. Процес зміни положення точки («блукання») являє собою випадковий процес з дискретним часом $(t=0,1,2,...)$ і зліченною множиною станів. Такий випадковий процес називається марковським, оскільки наступний стан точки залежить тільки від її поточного стану і не залежить від минулих станів (неважливо, яким шляхом і за який час точка потрапила в поточну координату).

Марківське уявлення

У деяких випадках, очевидно, немарковскі процеси можуть набувати марковского виду за будовою за рахунок розширення концепції «поточного» і «майбутнього» станів. Наприклад, нехай $X$ є немарковским процесом. Визначимо процес $Y$ (при цьому кожен стан $Y$ являє собою інтервал часу станів $X$) як: $Y(t)=\{X(s):s\in [a(t),b(t)]\}$.

Якщо процес $Y$ має властивість Маркова, то він є марковським уявленням процесу $X$.

Основи загальної теорії марковських процесів із неперервним часом було закладено у працях А. Колмогорова.

Література

• Баруча-Рид А. Т. Элементы теории марковских процессов и их приложения. — М. : Наука, 1969. — 512 с.
• Гардинер К. В. Стохастические методы в естественных науках. — М. : Мир, 1986. — 528 с.
• ван Кампен Н. Г. Стохастические процессы в физике и химии. — М. : Высшая школа, 1990. — 376 с.
• Феллер В. Введение в теорию вероятностей и ее приложения (в 2-х томах). — М. : Мир, 1984. — 1280 с.

Див. також

• Ланцюг Маркова
• Марковська властивість
• Марковська мережа
• Прихована марковська модель

Посилання

• Марковський процес на MathWorld(англ.)