1.3. Марковские процессы
Определение и примеры Время t Состояние E Если вероятность перехода в новое состояние не зависит от предыстории, случайный процесс называется МАРКОВСКИМ (процесс без памяти) 1
Классификация марковских процессов По состояниям По времени ДискретныйНепрерывный ДискретныйДискретный по времени и состояниям (дискретная цепь Маркова) Дискретный по состояниям, непрерывный по времени (цепь Маркова с непрерывным временем) НепрерывныйНепрерывный по состояниям, дискретный по времени Непрерывный по времени и состояниям 2
Марковские цепи с непрерывным временем. Матрица и граф интенсивностей переходов Пример Граф интенсивностей переходов 3
Уравнения Чепмена-Колмогорова 4
4
4
Эргодическое свойство марковских процессов. Предельное распределение 4 Предельное (финальное) распределение вероятностей состояний Эргодическое свойство