状态空间可以被限制在一个离散的集合中马尔可夫链。马尔可夫特性的转移概率将链中的每个状态“链接”到下一个状态。

如果状态空间是有限的，链就是有限的有限状态。

如果流程以离散时间步进行演化，则链是离散时间。

如果马尔科夫属性是时间无关，链条均匀。

递归式- 被从可到达所有状态到达酒店。此属性等效于返回的渐近概率等于1的每个链具有至少一个经常性类。

顷刻- -非经常性的特性，即有可能进入无法返回的国家。这个性质等价于回报为0的渐近概率。具有传递性的类对渐近行为没有影响。

周期性- 一类内的多个子类中循环和保持初始状态的一些存储器的特性。一个状态的期间是包含状态的所有电路的长度的最大公约数。国家或类周期为1是非周期性的。自循环的状态确保非周期性和形成的基础懒链。

如果P是随机的吗 $${\pi }^{\ast }={\pi }^{\ast }P$$总是有一个概率向量解。因为每一行P总结,P有一个正确的特征向量特征值是1。具体地说,e= 1_n,一个n1乘1的向量。所以,P也有一个左特征 $${\pi }^{\ast }$$特征值为1。根据Perron-Frobenius定理， $${\pi }^{\ast }$$非负，并且可以被归一化以产生一个概率向量。

$${\pi }^{\ast }$$当且仅当P代表unichain。在一般情况下，如果链中包含k复发性类，π^*=π^*P有k线性独立的解决方案。万博 尤文图斯在这种情况下,P^米收敛, $$米\to \infty$$，但是行是不相同的。

每一个初始分布π₀收敛于 $${\pi }^{\ast }$$当且仅当P表示遍历unichain。在这种情况下, $${\pi }^{\ast }$$是一个极限分布。

定义返回时间T₂国家我返回状态的最小步数是多少我起动后状态我。此外,定义平均收益时间τ₂是的预期值T₂。然后, $${\pi }^{\ast }=\left(\begin{array}{ccc}1/{\tau }_{11}& \cdots & 1/{\tau }_{nn}\end{array}\right]$$。这个结果有很多直观的内容。通过蒙特卡罗模拟可以估计个体平均混合时间。然而，由于蒙特卡罗方法的仿真开销大、收敛性难以评估等问题，使得蒙特卡罗方法作为一种通用方法不具有实际意义。

因为P^米包含所有行等于接近矩阵 $${\pi }^{\ast }$$作为 $$米\to \infty$$，任何一排的“高幂”的P接近π^*。虽然这个方法很简单，但是它涉及到选择一个收敛公差和一个适当大的米一般来说，混合时间分析的复杂性也使得这种计算不切实际。

线性系统 $${\pi }^{\ast }P={\pi }^{\ast }$$可以用约束增广吗 $${\displaystyle \Sigma {\pi }^{\ast }}=1$$，形式 $${\pi }^{\ast }{1}_{n\text{——- - - - - -}n}=1_n$$，其中1_{n——- - - - - -n}是一个n——- - - - - -n矩阵的。利用约束条件，系统变为

该系统可以有效地与MATLAB反斜杠运营商来解决，是因为遍历数值稳定P不能在主对角线上有1(否则P将可约)。推荐使用这种方法[5]。

因为 $${\pi }^{\ast }$$唯一的左特征向量与Perron-Frobenius特征值相关吗P，对特征值进行排序，识别相应的特征向量 $${\pi }^{\ast }$$。由于约束 $${\displaystyle \Sigma {\pi }^{\ast }}=1$$不属于特征值问题， $${\pi }^{\ast }$$需要正常化。此方法使用MATLAB的稳健NUMERICSeigs的方法实现的渐近对象函数DTMC宾语。

的击中概率 $$h_{我}^{\mathrm{一个}}$$在状态的子集中击中任何状态的概率是多少一个（目标），从状态开始我在链。命中概率表示从其他状态可以到达的状态; $$h_{我}^{\mathrm{一个}}$$>表示目标一个从状态可达我。如果 $$h_{我}^{\mathrm{一个}}$$= 0,目标一个状态不可达我,这意味着国家我是远程为目标。如果一个形成一个循环类， $$h_{我}^{\mathrm{一个}}$$是个吸收概率。

的预计首次命中时间 $$k_{我}^{\mathrm{一个}}$$需要达到的长期平均时间步长是多少一个第一次，从国家开始我。 $$k_{我}^{\mathrm{一个}}$$=∞的意思是:

如果一个形成一个循环类， $$k_{我}^{\mathrm{一个}}$$是预期吸收时间。