使用新数据比较两个分类模型的准确性据/P.>
比较控股据/Code>统计评估两个分类模型的准确性。该功能首先将其预测的标签与真标进行比较,然后检测错误分类率之间的差异是统计上显着的。据/P.>
您可以确定分类模型的准确性是否不同,或者一个模型的性能是否优于另一个模型。据Code class="function">比较控股据/Code>可以进行几个据一种Href="//www.tianjin-qmedu.com/de/de/help/stats/classificationknn.compareholdout.html" class="intrnllnk">McNemar检验法检验据/一种>变异,包括渐近检验,精确条件检验,和中据E.mClass="varname">P.据/E.m>值测试。为据一种Href="//www.tianjin-qmedu.com/de/de/help/stats/classificationknn.compareholdout.html" class="intrnllnk">成本敏感评估据/一种>,可用的测试包括Chi-Square测试(需要优化工具箱™)和似然比测试。据/P.>
从测试训练的分类模型中返回测试决定据Code class="argument">C1.据/Code>和据Code class="argument">C2.据/Code>具有平等准确性,以预测真正的类标签据Code class="argument">ResponseVarName据/Code>变量。另一种假设是标签的准确性不相等。据/P.>
H据/Code>
=比较保留(据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e234886" class="intrnllnk">C1.据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e235085" class="intrnllnk">
C2.据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e235107" class="intrnllnk">
T1.据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e235159" class="intrnllnk">
T2.据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#mw_4ac6b8c1-5ac7-4de3-851d-2b0481d604aa" class="intrnllnk">
ResponseVarName据/Code>)据/Code>
第一分类模型据Code class="argument">C1.据/Code>使用预测器数据据Code class="argument">T1.据/Code>,以及第二分类模型据Code class="argument">C2.据/Code>使用预测器数据据Code class="argument">T2.据/Code>.的表据Code class="argument">T1.据/Code>和据Code class="argument">T2.据/Code>必须包含相同的响应变量,但可以包含不同的预测器集。默认情况下,软件进行中间据E.mClass="varname">P.据/E.m>-value McNemar测试比较精度。据/P.>
以下是您可以执行的测试示例:据/P.>
通过传递同一组预测数据(即,据Code class="argument">T1.据/Code>=据Code class="argument">T2.据/Code>).据/P.> 使用两个可能不同的预测器比较两个可能不同模型的精度。据/P.> 执行各种类型据一种Href="//www.tianjin-qmedu.com/de/help/stats/feature-selection.html" class="a">特征选择据/一种>.例如,您可以将使用一组预测器训练的模型的准确性与使用这些预测器的子集或不同集合训练的模型的准确性进行比较。您可以任意选择预测器集合,或使用特征选择技术,如PCA或序列特征选择(见据一种Href="//www.tianjin-qmedu.com/de/help/stats/pca.html">H据/Code>=据Code class="literal">1据/Code>表示在5%显著性水平上拒绝原假设。据Code class="literal">H据/Code>=据Code class="literal">0.据/Code>表示不抑制5%水平的零假设。据/P.>
PCA.据/Code>和据一种Href="//www.tianjin-qmedu.com/de/help/stats/sequentialfs.html">
sequentialfs据/Code>).据/P.>
从测试训练的分类模型中返回测试决定据Code class="argument">C1.据/Code>和据Code class="argument">C2.据/Code>有相同的准确性预测真正的类标签据Code class="argument">y据/Code>.另一种假设是标签的准确性不相等。据/P.>
H据/Code>
=比较保留(据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e234886" class="intrnllnk">C1.据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e235085" class="intrnllnk">
C2.据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e235107" class="intrnllnk">
T1.据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e235159" class="intrnllnk">
T2.据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">
y据/Code>)据/Code>
第一分类模型据Code class="argument">C1.据/Code>使用预测数据据Code class="argument">T1.据/Code>,以及第二分类模型据Code class="argument">C2.据/Code>使用预测数据据Code class="argument">T2.据/Code>.默认情况下,软件进行中间据E.mClass="varname">P.据/E.m>-value McNemar测试比较精度。据/P.>
从测试训练的分类模型中返回测试决定据Code class="argument">C1.据/Code>和据Code class="argument">C2.据/Code>有相同的准确性预测真正的类标签据Code class="argument">y据/Code>.另一种假设是标签的准确性不相等。据/P.>
H据/Code>
=比较保留(据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e234886" class="intrnllnk">C1.据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e235085" class="intrnllnk">
C2.据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#shared-X1" class="intrnllnk">
X1据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#shared-X2" class="intrnllnk">
X2据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">
y据/Code>)据/Code>
第一分类模型据Code class="argument">C1.据/Code>使用预测数据据Code class="argument">X1据/Code>,以及第二分类模型据Code class="argument">C2.据/Code>使用预测数据据Code class="argument">X2据/Code>.默认情况下,软件进行中间据E.mClass="varname">P.据/E.m>-value McNemar测试比较精度。据/P.>
除了以前语法中的输入参数组合之外,使用一个或多个名称值对参数指定选项。例如,您可以指定备用假设的类型,指定测试类型,并提供成本矩阵。据/P.>
H据/Code>
=比较保留(据S.P.一种NClass="argument_placeholder">___据/S.P.一种N>那据一种Href="#namevaluepairarguments" class="intrnllnk">名称,价值据/Code>)据/Code>
[据一种Href="//www.tianjin-qmedu.com/de/help/stats/#bupt79s_sep_shared-h" class="intrnllnk">
返回据E.mClass="varname">P.据/E.m>-Value用于假设测试(据Code class="argument">P.据/Code>)和各自的据一种Href="//www.tianjin-qmedu.com/de/de/help/stats/classificationknn.compareholdout.html" class="intrnllnk">分类损失据/一种>每组预测类标签的(据Code class="argument">e1据/Code>和据Code class="argument">e2据/Code>),使用前面语法中的任何输入参数。据/P.>
H据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e236006" class="intrnllnk">
P.据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e236044" class="intrnllnk">
e1据/Code>那据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e236099" class="intrnllnk">
e2据/Code>] = CompareHoltoutout(据S.P.一种NClass="argument_placeholder">___据/S.P.一种N>)据/Code>
比较控股据/Code>不比较由线性或核分类模型组成的ECOC模型(即,据一种Href="//www.tianjin-qmedu.com/de/help/stats/classificationlinear-class.html">
分类线性据/Code>或据一种Href="//www.tianjin-qmedu.com/de/help/stats/classificationkernel.html">
ClassificationKernel据/Code>模型对象)进行比较据Code class="class">ClassificationECOC据/Code>由线性或核分类模型组成的模型,使用据一种Href="//www.tianjin-qmedu.com/de/de/help/stats/testcholdout.html">
testcholdout.据/Code>反而。据/P.>
同样地,据Code class="function">比较控股据/Code>不比较据一种Href="//www.tianjin-qmedu.com/de/help/stats/classificationlinear-class.html">分类线性据/Code>或据一种Href="//www.tianjin-qmedu.com/de/help/stats/classificationkernel.html">
ClassificationKernel据/Code>模型对象。要比较这些模型,请使用据Code class="function">testcholdout.据/Code>反而。据/P.>
执行成本不敏感特征选择的一种方法是:据/P.>
火车第一分类模型(据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e234886" class="intrnllnk">C1.据/Code>)使用完整的预测器集。据/P.>
训练第二分类模型(据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e235085" class="intrnllnk">C2.据/Code>)使用缩小的预测器集。据/P.>
指定据一种Href="//www.tianjin-qmedu.com/de/help/stats/#shared-X1" class="intrnllnk">X1据/Code>作为完整的测试集预测数据和据一种Href="//www.tianjin-qmedu.com/de/help/stats/#shared-X2" class="intrnllnk">
X2据/Code>作为减少的测试设置预测值数据。据/P.>
进入据Code class="literal">POMPAREUTOUT(C1,C2,X1,X2,Y,'替代','少')据/Code>.如果据Code class="function">比较控股据/Code>回报据Code class="literal">1据/Code>,则有足够的证据表明,使用较少预测器的分类模型比使用完整预测器集的模型性能更好。据/P.>
或者,您可以评估这两个模型的准确性是否存在显著差异。要执行此评估,请删除据Code class="literal">'替代','少'据/Code>在步骤4中规范。据Code class="function">比较控股据/Code>进行双面测试,并且据Code class="literal">h = 0据/Code>表示没有足够的证据表明两种模型的准确性差异。据/P.>
成本敏感测试执行数值优化,这需要额外的计算资源。似然比检验通过在区间内寻找拉格朗日乘子的根来间接进行数值优化。对于某些数据集,如果根靠近区间的边界,则该方法可能会失败。因此,如果您有一个Optimization Toolbox许可证,可以考虑执行成本敏感卡方测试。有关更多详细信息,请参阅据一种Href="//www.tianjin-qmedu.com/de/help/stats/#d123e235798" class="intrnllnk">成本据/Code>和据一种Href="//www.tianjin-qmedu.com/de/de/help/stats/classificationknn.compareholdout.html" class="intrnllnk">降低成本的测试方案据/一种>.据/P.>
要直接比较两组类标签在预测一组真实类标签时的准确性,请使用据一种Href="//www.tianjin-qmedu.com/de/de/help/stats/testcholdout.html">testcholdout.据/Code>.据/P.>
[1] 阿格雷斯蒂,A。据E.mClass="citetitle">分类数据分析据/E.m>,第二次。John Wiley&Sons,Inc。:霍博肯,NJ,2002。据/P.>
[2] 二元匹配对数据的McNemar检验:中P和渐近优于精确条件检验据E.mClass="citetitle">医学研究方法据/E.m>.2013年第13卷,第1-8页。据/P.>
[3] 离散分布中的显著性检验据E.mClass="citetitle">贾萨据/E.m>,第56卷第294期,1961年,第223-234页。据/P.>
[4] McNemar, Q.《关于相关比例或百分比差异的抽样误差的注释》。据E.mClass="citetitle">心理测量学据/E.m>,第12卷,第2期,1947年,153-157页。据/P.>
[5] 测量药物主观反应的一些统计问题据E.mClass="citetitle">生物识别学据/E.m>,第8卷,第3期,1952年,第220-226页。据/P.>
testckfold.据/Code>
|据S.P.一种N一世T.E.mS.Cope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">testcholdout.据/Code>