41. Какой процесс, протекающий в системе, называется Марковским?
Случайный процесс называется марковским процессом (или процессом без последействия), если для каждого момента времени t вероятность любого состояния системы в будущем зависит только от ее состояния в настоящем и не зависит от того, как система пришла в это состояние.
марковский процесс удобно задавать графом переходов из состояния в состояние. существует два варианта описания марковских процессов:
с дискретным временем
с непрерывным временем.
В первом случае переход из одного состояния в другое происходит в заранее известные моменты времени — такты (1, 2, 3, 4, …). Переход осуществляется на каждом такте, то есть исследователя интересует только последовательность состояний, которую проходит случайный процесс в своем развитии, и не интересует, когда конкретно происходил каждый из переходов. Во втором случае исследователя интересует и цепочка меняющих друг друга состояний, и моменты времени, в которые происходили такие переходы.
Если вероятность перехода не зависит от времени, то марковскую цепь называют однородной.
Марковский процесс с дискретным временем
Каждый переход характеризуется вероятностью перехода Pij. ВероятностьPij показывает, как часто после попадания в i-е состояние осуществляется затем переход в j-е состояние. Конечно, такие переходы происходят случайно, но если измерить частоту переходов за достаточно большое время, то окажется, что эта частота будет совпадать с заданной вероятностью перехода.
Ясно, что у каждого состояния сумма вероятностей всех переходов (исходящих стрелок) из него в другие состояния должна быть всегда равна 1
Реализация марковского процесса (процесс его моделирования) представляет собой вычисление последовательности (цепи) переходов из состояния в состояние.
Марковские случайные процессы с непрерывным временем
Теперь каждый переход характеризуется плотностью вероятности перехода λij. По определению:
λij=lim Pij(Δt)/Δt при Δt → 0
При этом плотность понимают как распределение вероятности во времени.
К интенсивности переходов (здесь это понятие совпадает по смыслу с распределением плотности вероятности по времени t) переходят, когда процесс непрерывный, то есть, распределен во времени.
