主要内容

酸溜溜

检查马尔可夫链以进行可还原性

描述

例子

TF.=缺少(MC.的)回报真的如果是离散时间马尔可夫链MC.还原错误的除此以外。

例子

全部收缩

考虑这个三态转换矩阵。

P. = [ 0. 5. 0. 5. 0. 0. 5. 0. 5. 0. 0. 0. 1 ]

创建以转换矩阵为特征的马尔可夫链P.

p = [0.5 0.5 0;0.5 0.5 0;0 0 1];MC = DTMC(P);

确定马尔可夫链是否可降低。

isreeducible(MC)
ANS =.逻辑1

1表明MC.是可还原的。

通过绘制数字性,在目视确认马尔可夫链的还原性。

图;graphplot (mc);

图包含轴对象。轴对象包含Type Graphplot的对象。

图中出现了两个独立的链条。此结果表明您可以分别分别分析两个链条。

输入参数

全部收缩

离散时间马尔可夫链NumStates状态和转换矩阵P.,指定为aDTMC.对象。P.必须完全指定(没有条目)。

输出参数

全部收缩

还原标志,返回真的如果MC.是一个可还原的马尔可夫链和错误的除此以外。

更多关于

全部收缩

还原链子

马尔可夫链是还原如果它由一个以上的通信类组成。渐近分析是减少对各个子类。看分类渐近学

算法

  • 马尔可夫链MC.如果每个国家最多可以从每个其他国家到达,那么是不可挽回的N.- 1个步骤,在哪里N.是州的数量(mc.NumStates).这个结果等价于问:=(一世+Z.的)N.- 1包含所有正元素。一世N.-经过-N.单位矩阵。转换矩阵的零模式矩阵P.mc.P) 是Z.一世j=一世P.一世j> 0),所有一世j[2]。确定还原性,酸溜溜计算问:

  • 由珀罗 - Frobenius定理[2],Irreafucible Markov链具有独特的静止分布。由单个复发类加上瞬态类组成的未Ificha一起也具有独特的静止分布(瞬态类中的零概率质量)。具有多个复发类别的可还原链具有依赖初始分布的静止分布。

参考文献

[1]Gallager,R.G.随机过程:应用理论。剑桥,英国:剑桥大学出版社,2013年。

[2]Horn,R.和C. R. Johnson。矩阵分析。剑桥,英国:剑桥大学出版社,1985年。

介绍在R2017B.