离散时间马尔可夫链对象框架概述

这DTMC对象框架提供用于建模和分析离散时间马尔可夫链的基本工具。该物体支持具有有限数量万博1manbetx的链条，其在离散时间中以时间 - 均匀的过渡结构在离散时间中发展。

DTMC用a识别每个马尔可夫链numstates.-经过-numstates.过渡矩阵P.，独立于初始状态X_0.或初始分配国家π_0.。您可以指定P.作为右移动矩阵或经验计数的矩阵。

这McMix.函数是备用马尔可夫链对象创建者;它生成具有指定零模式和随机转换概率的链。McMix.非常适合创建具有不同混合时间的链条以进行测试。

要可视化与链相关联的定向图形或数字，请使用graphplot.对象功能。graphplot.类似于阴谋MATLAB的对象功能^®dig对象，但它包括用于分析马尔可夫链结构的附加功能。参数设置突出显示通信类（即，强烈连接模拟的组分）和影响收敛性的特定特征，例如复发，障碍和周期性。您可以突出显示过渡概率P.通过使用热图强度着色图形边缘。

为了可视化链中的大规模结构，graphplot.可以冷凝给代表节点的传送课程。此选项基于缩合一个物体功能dig目的。

这分类对象功能是图表中突出显示的类的数值模拟。分类返回确定限制行为的通信类的特征。州分类结合了图形 - 理论算法，例如BFSearch.（广度首次搜索）Matlab的对象功能图形对象，但具有比Markov链理论的更直接的矩阵计算。这傀儡方法允许您从链中提取特定的通信类以进行进一步分析。

这缺少和isergodic.对象函数简化链结构的简明摘要。它们共同为存在独特的限制分布提供必要和充分的条件 $${\pi }^{*}$$， 在哪里 $${\pi }^{*}={\pi }^{*}\mathrm{P.}$$和 $${\pi }_{0.}\to {\pi }^{*}$$每次初始分布π_0.。这渐近学对象功能计算 $${\pi }^{*}$$，如果存在，并且估计使用特征值分析的混合时间。这eigplot.对象函数绘制特征值P.。该图显示了返回的特征值情节的示例eigplot.。

收敛的一个障碍是周期性。这懒惰的对象功能通过调整状态惯性来消除周期性（即，通过加权对角线元素P.）在链中产生指定数量的“Laziness”。限制分布不受这些转换的影响。

这模拟和重新分配对象函数提供从指定的初始状态或分发时演变的过程的实现。这简单和distplot.对象功能提供各种可视化。该图是示出从均匀初始状态分布开始的状态分布的演变的分布图的示例。

马尔可夫链分析工作流程

您可以以两种方式开始构建Markov链模型对象：

对于一个经济学模型建设者，最重要的结果P.是链条的渐近行为。要了解此行为，请识别并分开来自反复状态的暂停状态（其返回时间概率转到零点）的那些状态（其返回时间概率转到渐近的那些状态）。瞬间和复发是传送类中所有国家共享的属性。要在视觉上确定各种是否瞬态或复发，将马尔可夫链对象传递给graphplot.对象功能并指定'colornodes'，真实。或者，输出分类对象功能提供了用于评估的数字工具。该图形是具有分类节点的数字的示例。

通过将每个通信类巩固到“超级节点”，通过将每个通信类固化为简化了这种评估。在缩合图中，您可以通过超级节点的出差异（大于0的程度大于0，容易识别瞬态和复发。不可减少的链条由单一，必然经常发生的沟通类组成。找不到由单一的复发类和任意数量的卫星瞬态类组成。优势保持不可缩减链的理想限制行为。考虑凝结的图形通常是修剪无关瞬态态链的前体。这傀儡功能修剪瞬态类链条。该图是前图中的数字的凝聚视图。

统一限制行为的两个原则障碍是：

一个组合graphplot.和分类对象功能可以识别这些问题。如果连锁是可降低而不是未ICHAIN，则共同分配独立的经常性课程中的分析或完全重新重整链。如果链是定期的（即，它包含定期复发类），但整体结构捕获了应用程序的基本细节懒惰的对象功能提供了补救措施。懒散的链条扰乱了对角线元素P.消除周期性，留下渐近学不受影响。

这缺少和isergodic.对象功能总结状态分类。每个链条都有一个固定分布 $${\pi }^{*}$$， 在哪里 $${\pi }^{*}={\pi }^{*}\mathrm{P.}$$， 后果P.随机，有一个特征值。如果链条是不可缩短的，静止分配是独一无二的。然而，不可制定，虽然足够，但不是唯一性的必要条件。未契约还导致在瞬态状态下具有零概率质量的独特静止分布。在这方面，国家分类分析至关重要，因为缺少回报真的只有当链条的整个链条组成了一个单一的通信类。缺少回报错误的对于任意未知，在这种情况下，您必须决定瞬态类是模型的相关部分。

ergodicity.， 或者原始，是不可制定和非周期性的组合。ergodic链具有独特的限制分布，即π_0.融合到 $${\pi }^{*}$$每次初始分布π_0.。您可以通过使用来确定链条是否是遍历遍历isergodic.。该功能通过评估唯一的复发类别来识别ergodic优势。如果它是不可缩短的，而不是ergodic，则链是周期性的，即，如果〜tfirreduc+〜tfergo.=错误的， 在哪里tfirreduc.和TFFERGO.被返回缺少和isergodic.， 分别。

一旦确认链是ergodic，您可以通过使用唯一的限制分布渐近学对象功能。渐近学返回限制分布 $${\pi }^{*}$$并且对混合时间的估计，这是瞬态行为衰减的时间常数。IRRAFUIBLIBLIBLE非负矩阵的erron-Frobenius定理（参见[1]）对于解释这些结果是有用的。任何随机矩阵都有一个光谱半径。周期性的矩阵K.， 有K.特征值均匀地分布在单位圈周围K.团结的根源。单元圆内部最大特征值的大小确定了瞬态状态的衰减率。这eigplot.对象功能提供此信息的快速可视化。这个数字是马尔可夫链的特征值图，三个时期。

无论链条的渐近性质如何，您可以通过应用有限步骤分析来研究其混合速率。这hitprob.和h函数返回击中概率和目标状态子集的预期首次击中时间，从链中的每个状态开始。这两种功能可选地绘制一个带有节点颜色的数字，指定击中概率或时间。该图显示了具有节点颜色的数字的示例，指定了首次击中时间的exapect。数字图还指示启动状态是针对目标的远程。

仿真和再分配允许您在难以直接从理论中获得难以导出的链的统计信息。这模拟和简单对象功能，和重新分配和distplot.对象功能，为这种分析提供计算和图形工具。模拟例如，通过链条生成独立的随机散步。和人一样模拟在OuthoMetrics Toolbox™中的其他地方，依赖统计的集合平均值在预测中发挥着重要作用。相应的简单对象功能提供了几种可视化方法。该数字显示通过前一个图中的周期性马尔可夫链100步之后访问的100个随机步行后访问的状态。