Ланцюги Маркова з неперервним часом

У теорії ймовірностей ланцюгом Маркова з неперервним часом називається випадковий процес { X(t) : t ≥ 0 } визначений у неперервному часовому проміжку, що приймає значення у деякій скінченній чи зліченній множині і задовольняє властивість Маркова. Відмінність цього виду ланцюгів Маркова від дискретних ланцюгів Маркова полягає в тому, що переходи між станами можуть відбуватися в будь-які моменти часу і час наступного переходу теж є випадковою величиною.

Формальне означення

Випадковий процес $\{X_{t}\}_{t\geqslant 0}$, що приймає значення в деякій скінченній чи зліченній множині називається ланцюгом Маркова (з неперервним часом), якщо

$\mathbb {P} (X_{t+h}=x_{t+h}\mid X_{s}=x_{s},\;0<s\leqslant t)=\mathbb {P} (X_{t+h}=x_{t+h}\mid X_{t}=x_{t})$.

Ланцюг Маркова з неперервним часом називається однорідним якщо:

$\mathbb {P} (X_{t+h}=x_{t+h}\mid X_{t}=x_{t})=\mathbb {P} (X_{h}=x_{h}\mid X_{0}=x_{0})$.

Матриця перехідних функцій і рівняння Колмогорова — Чепмена

Як і у дискретному випадку Ланцюги Маркова з неперервним часом повністю визначаються заданням початкового розподілу

$\mathbf {p} =(p_{1},p_{2},\ldots )^{\top },\;p_{i}=\mathbb {P} (X_{0}=i),\quad i=1,2,\ldots$

іматрицею перехідних функцій (перехідних ймовірностей)

$\mathbf {P} (h)=(P_{ij}(h))=\mathbb {P} (X_{h}=j\mid X_{0}=i)$.

Матриця перехідних ймовірностей задовільняє рівнянню Колмогорова — Чепмена: $\mathbf {P} (t+s)=\mathbf {P} (t)\mathbf {P} (s)$ або

$P_{ij}(t+s)=\sum _{k}P_{ik}(t)P_{kj}(s)$.

Матриця інтенсивностей

За визначенням , матриця інтенсивностей $\mathbf {Q} =\lim _{h\to 0}{\frac {\mathbf {P} (h)-\mathbf {I} }{h}}$

чи еквівалентно:

$\mathbf {Q} =(q_{ij})=\left({\frac {dP_{ij}(h)}{dh}}\right)_{h=0}$.

Із рівняння Колмогорова-Чепмена випливають:

• Пряме рівняння Колмогорова

  ${\frac {d\mathbf {P} (t)}{dt}}=\mathbf {P} (t)\mathbf {Q} ,$

• Обернене рівняння Колмогорова

  ${\frac {d\mathbf {P} (t)}{dt}}=\mathbf {Q} \mathbf {P} (t).$

Для обох рівнянь початковим наближенням є $\mathbf {P} (0)=\mathbf {I}$. Відповідний розв'язок рівний: $\mathbf {P} (t)=\exp(\mathbf {Q} t).$

Див. також

• Ланцюги Маркова
• Марківський процес

Література

• S. P. Meyn and R. L. Tweedie. Markov Chains and Stochastic Stability. London: Springer-Verlag, 1993. ISBN 0-387-19832-6.
• J. R. Norris. Markov Chains. Cambridge University Press, 1997. ISBN ISBN 0-521-48181-3