Ланцюги Маркова з неперервним часом

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

У теорії ймовірностей ланцюгом Маркова з неперервним часом називається випадковий процес { X(t) : t ≥ 0 } визначений у неперервному часовому проміжку, що приймає значення у деякій скінченній чи зліченній множині і задовольняє властивість Маркова. Відмінність цього виду ланцюгів Маркова від дискретних ланцюгів Маркова полягає в тому, що переходи між станами можуть відбуватися в будь-які моменти часу і час наступного переходу теж є випадковою величиною.


Формальне означення[ред.ред. код]

Випадковий процес \{X_t\}_{t \geqslant 0}, що приймає значення в деякій скінченній чи зліченній множині називається ланцюгом Маркова (з неперервним часом), якщо

\mathbb{P}(X_{t+h} = x_{t+h} \mid X_s = x_s,\; 0 < s \leqslant t ) = \mathbb{P}(X_{t+h} = x_{t+h} \mid X_t = x_t).

Ланцюг Маркова з неперервним часом називається однорідним якщо:

\mathbb{P}(X_{t+h} = x_{t+h} \mid X_t = x_t) = \mathbb{P}(X_{h} = x_{h} \mid X_0 = x_0).

Матриця перехідних функцій і рівняння Колмогорова — Чепмена[ред.ред. код]

Як і у дискретному випадку Ланцюги Маркова з неперервним часом повністю визначаються заданням початкового розподілу

\mathbf{p} = (p_1,p_2,\ldots)^{\top},\; p_i = \mathbb{P}(X_0 = i),\quad i=1,2,\ldots

іматрицею перехідних функцій (перехідних ймовірностей)

\mathbf{P}(h)=(P_{ij}(h)) = \mathbb{P}(X_h = j \mid X_0 = i).

Матриця перехідних ймовірностей задовільняє рівнянню Колмогорова — Чепмена: \mathbf{P}(t+s)=\mathbf{P}(t)\mathbf{P}(s) або

P_{ij}(t+s)=\sum_k P_{ik}(t)P_{kj}(s).

Матриця інтенсивностей[ред.ред. код]

За визначенням , матриця інтенсивностей \mathbf{Q}=\lim_{h \to 0}\frac{\mathbf{P}(h)-\mathbf{I}}{h}

чи еквівалентно:

\mathbf{Q}=(q_{ij})=\left(\frac{dP_{ij}(h)}{dh}\right)_{h=0}.

Із рівняння Колмогорова-Чепмена випливають:

  • Пряме рівняння Колмогорова
    \frac{d \mathbf{P}(t)}{d t}=\mathbf{P}(t)\mathbf{Q},
  • Обернене рівняння Колмогорова
    \frac{d \mathbf{P}(t)}{d t}=\mathbf{Q}\mathbf{P}(t).

Для обох рівнянь початковим наближенням є \mathbf{P}(0)=\mathbf{I}. Відповідний розв'язок рівний: \mathbf{P}(t)=\exp(\mathbf{Q}t).

Див. також[ред.ред. код]


Література[ред.ред. код]

  • S. P. Meyn and R. L. Tweedie. Markov Chains and Stochastic Stability. London: Springer-Verlag, 1993. ISBN 0-387-19832-6.
  • J. R. Norris. Markov Chains. Cambridge University Press, 1997. ISBN ISBN 0-521-48181-3