主要内容

计算马尔可夫链在每个时间步长的状态分布

这个例子展示了如何计算和可视化状态再分配,它显示了从初始分布到确定性状态分布随时间的演变。

考虑这个理论的,一个随机过程的右随机转移矩阵。

P = [ 0 0 1. / 2. 1. / 4. 1. / 4. 0 0 0 0 1. / 3. 0 2. / 3. 0 0 0 0 0 0 0 1. / 3. 2. / 3. 0 0 0 0 0 1. / 2. 1. / 2. 0 0 0 0 0 3. / 4. 1. / 4. 1. / 2. 1. / 2. 0 0 0 0 0 1. / 4. 3. / 4. 0 0 0 0 0 ] .

创建以转移矩阵为特征的马尔可夫链P.

P=[01/21/41/40 0;01/30 0 2/30 0;01/3 2/3;01/2 1/2;01/2 0 0 0 0 0 3/4 1/4;1/2 1/2 0 0 0 0 0 0 0 0 0;1/4 3/4 0 0 0 0 0 0 0 0 0 0 0];mc=dtmc(P);

绘制马尔可夫链的有向图,并使用节点颜色和标记识别类。

图形图幅(mc,“彩色节点”,对);

图形包含一个轴对象。轴对象包含两个graphplot、line类型的对象。此对象表示周期=3。

司仪表示一个周期为3的重复课程。

假设初始状态分布是均匀的,计算20个时间步的分布演化。

numSteps=20;X=重新分配(mc,numSteps);

X是一个21乘7的矩阵。行T包含在时间步长的演化状态分布T.

在热图中可视化重新分布。

图;distplot (mc, X);

图中包含一个轴对象。具有状态标题分布的Axis对象包含类型为image的对象。

链的周期性是明显的。

通过将马尔可夫链转换为惰性链来去除马尔可夫链的周期性。将懒惰链的转移矩阵绘制为热图。

lc=懒惰(mc);图形imagesc(lc.P);彩色地图(“喷气式飞机”); 轴广场; 色条;头衔(“理论惰性链转移矩阵”)

图中包含一个轴对象。标题为“理论懒惰链转移矩阵”的轴对象包含一个类型为image的对象。

信用证是一个dtmc对象。懒惰的通过增加持久性概率的权重来创建惰性链,即,懒惰的强制执行自循环。

计算20个时间步的惰性链中分布的演变。在热图中绘制重新分布。

X1=重新分配(lc,numSteps);图;距离图(lc,X1);

图中包含一个轴对象。具有状态标题分布的Axis对象包含类型为image的对象。

以动画直方图的形式查看状态分布的演变。指定1秒的帧速率。

图:距离图(lc,X1,“类型”,“直方图”,的帧速率,1)

图中包含一个Axis对象。状态标题分布的Axis对象包含一个Category Histogram类型的对象。该对象表示步骤20。

计算惰性链的平稳分布。将其与动画直方图中的最终重新分布进行比较。

xFix=渐近(lc)
xFix=1×70.1300 0.2034 0.1328 0.0325 0.1681 0.1866 0.1468

平稳分布和最终再分配几乎相同。

另见

物体

功能

相关的话题