predictorImportance

决策树分类集成中预测器重要性的估计

语法

小鬼= predictorImportance(实体) (imp, ma) = predictorImportance(实体)

描述

小鬼= predictorImportance (实体）计算预测器重要性的估计实体通过对集合中所有弱学习者的估计求和。小鬼对用于训练该集成的数据中的每个输入预测器都有一个元素。一个高值表明这个预测器是重要的实体．

［小鬼，马) = predictorImportance (实体）返回一个P——- - - - - -P具有预测措施的矩阵P预测者，当学习者实体包含代理分裂。看到更多关于．

输入参数

`实体`	决策树的分类集成，由`fitcensemble`，或通过`紧凑的`方法。

输出参数

`小鬼`	中元素数量与预测器(列)数量相同的行向量`实体．X`．条目是对预测器重要性的估计`0`代表最小可能的重要性。
`马`	一个`P`——- - - - - -`P`矩阵的预测措施的关联`P`预测因子。元素`硕士(I, J)`关联的预测测量是否平均高于预测器上的代理分割`J`的预测`我`是最佳分割预测器。`predictorImportance`对集合中所有树的关联的预测测量进行平均。

例子

全部展开

估计预测的重要性

打开生活的脚本

估计费希尔虹膜数据中所有变量的预测重要性。

加载费舍尔的虹膜数据集。

负载fisheriris

使用AdaBoostM2训练分类集成。指定树桩为弱学习者。

t = templateTree (“MaxNumSplits”1);实体= fitcensemble(量、种类、“方法”，“AdaBoostM2”，“学习者”t);

估计所有预测变量的预测重要性。

小鬼= predictorImportance(实体)

小鬼=1×40.0004 0.0016 0.1266 0.0324

前两个预测因子在整体中不是很重要。

预测者重要性和代理分割

打开生活的脚本

在树包含代理分割的集合中，估计Fisher虹膜数据中所有变量的预测重要性。

加载费舍尔的虹膜数据集。

负载fisheriris

使用AdaBoostM2生成100棵分类树。指定树桩为弱学习者，并确定替代分割。

t = templateTree (“MaxNumSplits”, 1“代孕”，“上”）;实体= fitcensemble(量、种类、“方法”，“AdaBoostM2”，“学习者”t);

估计所有预测变量的预测重要性和关联的预测措施。

(imp, ma) = predictorImportance(实体)

小鬼=1×40.0674 0.0417 0.1582 0.1537

马=4×41.0000 000 0.0115 1.0000 0.0022 0.0054 0.3186 0.2137 1.0000 0.6391 0.0392 0.0073 0.1137 1.0000

前两个预测因素显示出比分析更重要估计预测的重要性．

更多关于

全部展开

预测的重要性

predictorImportance在集成中估计每个树学习器的预测器的重要性实体返回加权平均值小鬼计算使用ens.TrainedWeight．输出小鬼每个预测器都有一个元素。

predictorImportance计算树中预测器的重要度量，方法是将每个预测器的分割导致的节点风险变化累加，然后除以分支节点的总数。节点风险的变化是父节点的风险与两个子节点的总风险之间的差值。例如，如果一棵树将一个父节点(例如，节点1)分成两个子节点(例如，节点2和3)，那么predictorImportance增加分裂预测器的重要性

（R₁- - - - - -R₂- - - - - -R_3.) /N_分支，

在哪里R_我节点是否存在节点风险我,N_分支是分支节点的总数。一个节点的风险定义为节点误差或节点杂质以节点概率加权:

R_我＝P_我E_我，

在哪里P_我是节点的节点概率吗我,E_我是节点的节点误差(对于通过最小化两个标准生长的树)还是节点杂质(对于通过最小化杂质标准生长的树，如基尼指数或偏差)我．

预测器重要性的估计取决于你是否在训练中使用代物分割。

如果你用替身分割，predictorImportance对每个分支节点上的所有拆分(包括代理拆分)中节点风险的变化进行合计。如果不使用代理分割，则该函数将获取每个分支节点上找到的最佳分割的总和。
如果使用代理分割，预测器重要性的估计不依赖于预测器的顺序，但如果不使用代理分割，则依赖于顺序。

杂质和节点错误

决策树基于其中任何一个来划分节点杂质或节点的错误．

不洁净指的是几种情况中的一种，取决于你的选择SplitCriterion名称-值对论点:

基尼系数多样性指数(gdi)—节点的基尼指数为

$1 - \sum_{我} p^{2} （我），$

所有班级的总数在哪里我在节点上，和p（我)是带有class的类的观察分数我到达结点。只有一个类的节点(A纯node)有Gini索引0;否则，基尼系数就是正的。因此，基尼指数是衡量节点杂质的指标。
异常(“异常”) - - - - - -p（我)定义与Gini索引相同，则节点的异常值为

$- \sum_{我} p （我） {日志}_{2} p （我）．$

纯节点有异常0;否则，偏差为正。
两个规则(“两个”) - Twoing不是一个节点的纯度度量，而是一个决定如何分割节点的不同度量。让l（我)表示class成员的分数我在左子节点后分裂，和R（我)表示class成员的分数我在右侧子节点的分裂。选择分割标准最大化

$P （ l ） P （ R ） {（ \sum_{我} | l （我） - R （我） | ）}^{2} ，$

在哪里P（l),P（R)是分别向左和向右分离的观测结果的分数。如果表达式很大，拆分会使每个子节点更纯粹。类似地，如果表达式很小，则拆分使每个子节点彼此相似，因此也与父节点相似。拆分没有增加节点纯度。
节点错误-节点错误是在一个节点上错误分类的类的一部分。如果j是否在一个节点上训练样本数量最大的类，节点误差为

1 -p（j)．