Марковський процес

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Ма́рковський проце́с — це випадковий процес, конкретні значення якого для будь-якого заданого часового параметру t+1 залежать від значення у момент часу t, але не залежать від його значень у моменти часу t-1, t-2 і т. д. (дискретний випадок марковського процесу). Іншими словами «майбутнє» процесу залежить лише від «поточного» стану, але не залежить від «минулого» (за умови, коли «поточний» стан процесу відомий).

Історія[ред.ред. код]

Властивість, яка характеризує процес як марковський, називають марковською або властивістю Маркова. Вперше цю властивість було сформульовано російським математиком Марковим А. А., який 1907 року поклав початок вивченню послідовностей залежних випробувань і пов'язаних із ними сум випадкових величин. Цей напрямок досліджень відомий зараз під назвою теорії ланцюгів Маркова.

Проте вже в роботі Л. Башельє можна угледіти спробу трактувати броунівський рух як марковський процес, яка отримала обгрунтування після досліджень Вінера 1923 року.

Вступ[ред.ред. код]

Марківський процес є стохастичною моделлю, що має властивість Маркова. Він може бути використаний для моделювання випадкової системи, що змінює стан відповідно до правила переходу, що залежить від поточного стану. Ця стаття описує процес Маркова в дуже загальному значенні. Наступна таблиця дає огляд різних випадках марковських процесів для різних рівнів просторових станів та дискретного часу проти безперервного часу.

кінцевий простір безперервний або загальний стан
Дискретний час Ланцюг Маркова з кінцевим простором станів Ланцюг Харісса (ланцюг Маркова на спільному просторі станів)
Безперервний час Безперервний час процесу Маркова Будь-який безперервний стохастичний процес з марківської властивості, наприклад процес Вінера)


Зверніть увагу, що немає остаточної даних в літературі з використання деяких термінів, які показують особливі випадки марковських процесів. Наприклад, часто термін «ланцюг Маркова» використовується для позначення процесу Маркова, яка має кінцеве або рахункове значення простору станів, але ланцюга Маркова на спільному просторі станів підпадає під таким же описом. Точно так само, ланцюг Маркова, як правило, буде визначений на дискретній множині (тобто дискретним часом ланцюга Маркова) [2], хоча деякі автори використовують ту ж термінологію, де «час» може прийняти безперервні значення. [3] Крім того, інші розширення марковських процесів, які згадуються в такій якості, не обов'язково входять в будь-який з цих чотирьох категорій (див Маркова модель).

Марківські процеси виникають в теорії ймовірності та статистики в одному з двох способів. Стохастичний процес, визначається за допомогою окремого аргументу, може бути показано математично маючи властивість Маркова, і, як наслідок, маючи властивості, які можуть бути виведені з цього для всіх процесів Маркова. З іншого боку, при моделюванні процесу, можна припустити, що процес буде Марківським, і прийняти це як основу для будівництва. При моделюванні умов, припускаючи, що властивість Марков вважається один з обмеженого числа простих способів введення статистичної залежності в моделі для стохастичного процесу .

Марківська властівість[ред.ред. код]

Нехай (Ω, F, Ρ)- імовірнісний простір з фільтрацією (Ft, t ϵ T) по деякій(частково впорядкованій) множинні T; і нехай (S, S) - змінений простір. Випадковий процес X=(Xt, t ϵ T), виявлений на ймовірному просторі, вважається задовольняючим марковській властивості, якщо для кожного A ϵ S, та s, t ϵ T : s < t, Ρ(Xt ϵ A|Fs)=P(Xt ϵ A|Xs)

Марківський процес — це випадковий процес, що задовольняє Марковському властивості з природною фільтрацією.

Марківські ланцюги з дискретним часом:

У випадку, якщо S є дискретним множиною T=N, визначення може бути переформулювано: P(Xn=xn|Xn-1=xn-1, Xn-2=xn-2, ..., X0=x0)=P(Xn=xn|Xn-1=xn-1).


Приклад марківского процесу[ред.ред. код]

Розглянемо простий приклад марковского випадкового процесу. По осі абсцис випадковим чином переміщується точка. У момент часу нуль точка знаходиться на початку координат і залишається там протягом однієї секунди. Через секунду кидається монета — якщо випав герб, то точка Х переміщається на одну одиницю довжини вправо, якщо решка — вліво. Через секунду знову кидається монета і проводиться таке ж випадкове переміщення, і так далі. Процес зміни положення точки («блукання») являє собою випадковий процес з дискретним часом (т = 0, 1, 2, …) і рахунковим безліччю станів. Такий випадковий процес називається марківским, оскільки наступний стан точки залежить тільки від справжнього (поточного) стану і не залежить від минулих станів (неважливо, яким шляхом і за який час точка потрапила в поточну координату).

Марківське уявлення[ред.ред. код]

У деяких випадках, очевидно, немарківскі процеси можуть набувати марківского уявлення, по будові за рахунок розширення концепції "поточної" і "майбутніх" станів. Наприклад, нехай X немарківский процес. Щоб визначити процес Y( при цьому кожен стан Y являє собою інтервал часу станів X) математично рівняння приймає форму: Y(t)={X(s):s ϵ [a(t), b(t)]}

Якщо Y має властивість Маркова, то це марковске уявлення X.


Основи загальної теорії марковських процесів із неперервним часом було закладено у працях А. Колмогорова. -->

Література[ред.ред. код]

  • Баруча-Рид А. Т. Элементы теории марковских процессов и их приложения. — М. : Наука, 1969. — 512 с.
  • Гардинер К. В. Стохастические методы в естественных науках. — М. : Мир, 1986. — 528 с.
  • ван Кампен Н. Г. Стохастические процессы в физике и химии. — М. : Высшая школа, 1990. — 376 с.
  • Феллер В. Введение в теорию вероятностей и ее приложения (в 2-х томах). — М. : Мир, 1984. — 1280 с.

Див. також[ред.ред. код]

Посилання[ред.ред. код]