predictorImportance

决策树分类集合中预测因子重要性的估计

全部展开页面

语法

重要性(ens) [imp,ma] = predictorImportance(重要性)

描述

小鬼= predictorImportance (实体）计算预测器重要性的估计实体通过对集合中所有弱学习器的估计求和。小鬼对于用于训练此集合的数据中的每个输入预测器都有一个元素。较高的值表示该预测器对于实体．

(小鬼，妈] = predictorImportance(重要)实体）返回一个P——- - - - - -P具有关联预测度量的矩阵P预测者，当学习者在实体包含代理分割。看到更多关于．

输入参数

`实体`	决策树的分类集合，由`fitcensemble`，或由`紧凑的`方法。

输出参数

`小鬼`	具有与中预测符(列)数量相同的元素数量的行向量`实体．X`．条目是预测因子重要性的估计值，其中`0`最小的代表最小可能的重要性的
`妈`	一个`P`——- - - - - -`P`关联的预测度量矩阵`P`预测因子。元素`硕士(I, J)`关联的预测测量是否在预测器上的代理分裂上平均`J`哪个预测器`我`是最佳分割预测器。`predictorImportance`对集合中所有树的关联的预测测量取平均值。

例子

全部展开

估计预测因子的重要性

打开实时脚本

估计Fisher虹膜数据中所有变量的预测重要性。

载入Fisher的虹膜数据集。

负载fisheriris

使用AdaBoostM2训练分类集成。将树桩指定为弱学习器。

t = templateTree(“MaxNumSplits”1);Ens =类群(means,species);“方法”，“AdaBoostM2”，“学习者”t);

估计所有预测变量的预测重要性。

重要性(ens)

小鬼=1×40.0004 0.0016 0.1266 0.0324

前两个预测因子在整体中不是很重要。

预测重要性和代理分割

打开实时脚本

估计Fisher虹膜数据中所有变量的预测重要性，其中树包含代理分裂。

载入Fisher的虹膜数据集。

负载fisheriris

使用AdaBoostM2生长100个分类树的集合。将树桩指定为弱学习器，并确定代理分割。

t = templateTree(“MaxNumSplits”, 1“代孕”，“上”）;Ens =类群(means,species);“方法”，“AdaBoostM2”，“学习者”t);

估计所有预测变量的预测重要性和关联的预测措施。

[imp,ma] = predictorImportance(重要性)

小鬼=1×40.0674 0.0417 0.1582 0.1537

马=4×41.0000 000 0.0115 1.0000 0.0022 0.0054 0.3186 0.2137 1.0000 0.6391 0.0392 0.0073 0.1137 1.0000

前两个预测因子比中分析的重要性大得多估计预测因子的重要性．

更多关于

全部展开

预测的重要性

predictorImportance估计集合中每个树学习器的预测器重要性实体并返回加权平均值小鬼计算使用ens.TrainedWeight．输出小鬼每个预测器有一个元素。

predictorImportance通过对每个预测器上的分裂导致的节点风险的变化求和，然后将总和除以分支节点的总数，计算树中预测器的重要性度量。节点风险的变化是父节点的风险与两个子节点的总风险之差。例如，如果树将父节点(例如节点1)拆分为两个子节点(例如节点2和3)，则predictorImportance将分割预测器的重要性增加

（R₁- - - - - -R₂- - - - - -R_3.）／N_分支，

在哪里R_我是节点的节点风险吗我,N_分支为分支节点总数。一个节点的风险定义为由节点概率加权的节点误差或节点杂质:

R_我＝P_我E_我，

在哪里P_我是节点的节点概率吗我,E_我是节点误差(对于通过最小化两个标准生长的树)还是节点杂质(对于通过最小化杂质标准生长的树，例如基尼指数或偏差)我．

预测器重要性的估计取决于您是否使用替代分割进行训练。

如果使用代理拆分，predictorImportance对每个分支节点上所有分割的节点风险变化求和，包括代理分割。如果不使用代理分割，则该函数将对每个分支节点上找到的最佳分割求和。
如果使用代理分割，预测器重要性的估计不依赖于预测器的顺序，但如果不使用代理分割，则依赖于顺序。

杂质和节点错误

决策树基于其中一种来分割节点杂质或节点的错误．

不洁净指的是几种东西中的一种，取决于你的选择SplitCriterion名称-值对参数:

基尼多样性指数(gdi)—节点的基尼系数为

$1 - \sum_{我} p^{2} （我），$

这些类的和在哪里我在节点处，和p（我)是类与类的观察分数我到达节点。只有一个类的节点(A纯节点)有基尼指数0;否则，基尼系数为正。所以基尼指数是衡量节点杂质的指标。
异常(“异常”) -有p（我)的定义与基尼指数相同，节点的偏差为

$- \sum_{我} p （我） {日志}_{2} p （我）．$

纯节点存在偏差0;否则，偏差为正。
二分规则(“两个”two不是节点的纯度度量，而是决定如何拆分节点的不同度量。让l（我)表示类成员的比例我在分隔后的左子节点中，和R（我)表示类成员的比例我在拆分后的右子节点中。选择要最大化的分割条件

$P （ l ） P （ R ） {（ \sum_{我} | l （我） - R （我） | ）}^{2} ，$

在哪里P（l),P（R)是分别向左和向右分裂的观察值的分数。如果表达式很大，则拆分使每个子节点更纯。类似地，如果表达式很小，则拆分使每个子节点彼此相似，因此与父节点相似。分裂并没有增加节点纯度。
节点错误——节点错误是节点上错误分类的类的比例。如果j一个节点上训练样本数量最多的类，其节点误差为

1 -p（j）.

联想的预测测量

的联想的预测测量是一个值，表示分割观察值的决策规则之间的相似性。在所有可能的决策分割中，与最优分割(通过生长树找到)进行比较的是最好的代理决策分裂产生关联的最大预测度量。第二好的代理分割具有第二大关联预测度量。

假设x_j和x_k是预测变量吗?j和k，及j≠k．在节点t，最优分割之间关联的预测性度量x_j<u然后是代理分裂x_k<v是

$λ_{j k} ＝ \frac{最小值（ P_{l} ， P_{R} ） - （ 1 - P_{l_{j} l_{k}} - P_{R_{j} R_{k}} ）}{最小值（ P_{l} ， P_{R} ）} ．$

P_l观察值在节点中的比例是多少t，这样x_j<u．下标l表示节点的左子节点t．
P_R观察值在节点中的比例是多少t，这样x_j≥u．下标R表示节点的右子节点t．
$P_{l_{j} l_{k}}$ 在节点上的观测值的比例是多少t，这样x_j<u和x_k<v．
$P_{R_{j} R_{k}}$ 在节点上的观测值的比例是多少t，这样x_j≥u和x_k≥v．
缺失值的观测值x_j或x_k不要参与比例计算。

λ_jk取值范围为(-∞，1)。如果λ_jk> 0,然后x_k<v一个值得分割的代理吗x_j<u．

算法

元素硕士(i, j)关联的预测测量是否在预测器上的代理分裂上平均j哪个预测器我是最佳分割预测器。这个平均值是通过将预测器上最优分割的关联预测度量的正值相加来计算的我代理在预测器上分裂j然后除以预测器上最优分割的总次数我，包括预测因子之间关联的预测度量我和j是负的。

扩展功能

GPU数组
通过使用并行计算工具箱™在图形处理单元(GPU)上运行来加速代码。

该功能完全支持GPU阵列。万博1manbetx有关更多信息，请参见在GPU上运行MATLAB函数(并行计算工具箱)．

另请参阅

predictorImportance (ClassificationTree)|templateTree