Марковски процес

Марковският процес е случаен процес, чиито бъдещи стойности зависят само от текущата, но не и от миналите стойности. Той приема стойности от дискретно множество, наречено пространство на състоянията. Казваме, че в даден момент от времето, Марковският процес е едно или друго състояние. В зависимост от това дали преходът от едно в друго състояние може да се извърши в произволни, или само във фиксирани моменти на времето, се различават Марковски процеси в непрекъснато време и Марковски вериги.

Понякога се казва, че Марковските процеси притежават Марковско свойство.

Марковските процеси носят името на руския математик Андрей Марков.

Математическо определение

Нека $X(t)$ е случайната величина, която описва състоянието на процеса в произволен момент от времето $t$. Да разгледаме две състояния на процеса $y$ и $z$, и вероятността за един малък отрязък от време между $t$ и $t+h$ процесът да е преминал от $y$ в $z$. Тогава, за да бъде Марковски този процес, трябва:

$\mathrm{P}[X(t+h)=z|X(s)=x(s),s\le t]=\mathrm{P}[X(t+h)=z|X(t)=y],\mathrm{\forall }h>0.$

С други думи, стойностите на Марковския процес в бъдещето $X(t+h)$ зависят от миналите стойности $X(s)$, $s\le t$, само чрез текущата стойност $X(t)$.

Вижте също

• Марковска верига
• Марковски процес в непрекъснато време
• Марковско свойство
• Марковски процес на взимане на решения

Външни препратки

• P-E E. Bergner, Dynamics of Markovian Particles; A kinetics of macroscopic particles in open heterogeneous systems Шаблон:Webarchive, (2005)
• доц. Д. Въндев, Записки по теория на вероятностите, Тема 16 Марковски вериги Шаблон:Webarchive, (2002)