使用新的数据的两个分类模型的精度比较
compareHoldout
统计评估两种分类模型的准确性。该函数首先将预测的标签与真实的标签进行比较,然后检测误分类率之间的差异是否具有统计学意义。
您可以确定分类模型的准确度是否有所不同,或者是否比另一种模式执行得更好。compareHoldout
可以进行几个<一种Href="//www.tianjin-qmedu.com/help/stats/classificationknn.compareholdout.html" class="intrnllnk">McNemar检验一种>变化,包括渐近测试,将完全条件测试,和中期<Ë米Class="varname">pË米>- 值测试。对于<一种Href="//www.tianjin-qmedu.com/help/stats/classificationknn.compareholdout.html" class="intrnllnk">降低成本的评估方案一种>,可用的测试包括一个卡方检验(需要优化工具箱™)和似然比检验。
返回测试已训练分类模型的null假设的测试决策H
= compareHoldout(<一种Href="#d122e200168" class="intrnllnk">C1
,<一种Href="#d122e200330" class="intrnllnk">C2
,<一种Href="#d122e200352" class="intrnllnk">T1
,<一种Href="#d122e200404" class="intrnllnk">T2
,<一种Href="#mw_4ac6b8c1-5ac7-4de3-851d-2b0481d604aa" class="intrnllnk">ResponseVarName
)C1
和C2
有平等的准确性预测在真正的类标签ResponseVarName
变量。另一种假设是,该标签具有不平等的准确性。
第一个分类模型C1
使用在预测数据T1
和所述第二分类模型C2
使用在预测数据T2
。该表T1
和T2
必须包含相同的响应可变的,但可以包含不同组的预测器。默认情况下,该软件还可以进行中期<Ë米Class="varname">pË米>- 值麦克尼马尔测试比较准确度。
H
=1
表示在5%的显着性水平拒绝零假设。H
=0
表示不拒绝在5%的水平零假设。
以下是测试你可以进行例子:
比较简单的分类模型和一个模型,它是通过使同一组预测数据的更复杂的准确度(即,T1
=T2
)。
比较使用两种可能不同组的预测两种可能不同型号的精度。
执行各种类型的<一种Href="//www.tianjin-qmedu.com/help/stats/feature-selection.html" class="a">特征选择一种>。例如,你可以比较使用一组预测的一个受过训练的一个子集或不同的一组预测者的准确性培养了模型的准确性。你可以选择一组预测的随意,或使用特征选择技术如PCA或顺序特征选择(见<一种Href="//www.tianjin-qmedu.com/help/stats/pca.html">PCA
和<一种Href="//www.tianjin-qmedu.com/help/stats/sequentialfs.html">sequentialfs
)。
返回测试已训练分类模型的null假设的测试决策H
= compareHoldout(<一种Href="#d122e200168" class="intrnllnk">C1
,<一种Href="#d122e200330" class="intrnllnk">C2
,<一种Href="#d122e200352" class="intrnllnk">T1
,<一种Href="#d122e200404" class="intrnllnk">T2
,<一种Href="#bupt79s_sep_shared-Y" class="intrnllnk">ÿ
)C1
和C2
具有同等精度的预测真正的类标签ÿ
。另一种假设是,该标签具有不平等的准确性。
第一个分类模型C1
采用预测数据T1
和所述第二分类模型C2
采用预测数据T2
。默认情况下,该软件还可以进行中期<Ë米Class="varname">pË米>- 值麦克尼马尔测试比较准确度。
返回测试已训练分类模型的null假设的测试决策H
= compareHoldout(<一种Href="#d122e200168" class="intrnllnk">C1
,<一种Href="#d122e200330" class="intrnllnk">C2
,<一种Href="#shared-X1" class="intrnllnk">X1
,<一种Href="#shared-X2" class="intrnllnk">X2
,<一种Href="#bupt79s_sep_shared-Y" class="intrnllnk">ÿ
)C1
和C2
具有同等精度的预测真正的类标签ÿ
。另一种假设是,该标签具有不平等的准确性。
第一个分类模型C1
采用预测数据X1
和所述第二分类模型C2
采用预测数据X2
。默认情况下,该软件还可以进行中期<Ë米Class="varname">pË米>- 值麦克尼马尔测试比较准确度。
除了前面语法中的输入参数组合外,还使用一个或多个名称-值对参数指定选项。例如,您可以指定备选假设的类型,指定测试的类型,并提供一个成本矩阵。H
= compareHoldout(<小号p一种ñClass="argument_placeholder">___小号p一种ñ>,<一种Href="#namevaluepairarguments" class="intrnllnk">名称,值
)
[<一种Href="#bupt79s_sep_shared-h" class="intrnllnk">
返回<Ë米Class="varname">pË米>-VALUE的假设检验(H
,<一种Href="#d122e201251" class="intrnllnk">p
,<一种Href="#d122e201289" class="intrnllnk">e1
,<一种Href="#d122e201344" class="intrnllnk">e2
] = compareHoldout(<小号p一种ñClass="argument_placeholder">___小号p一种ñ>)p
)和相应的<一种Href="//www.tianjin-qmedu.com/help/stats/classificationknn.compareholdout.html" class="intrnllnk">分类损失一种>各组预测类标签的(e1
和e2
)使用任何在前面的语法的输入参数。
compareHoldout
不比较线性或内核分类模型组成的ECOC模型(即,<一种Href="//www.tianjin-qmedu.com/help/stats/classificationlinear-class.html">ClassificationLinear
要么<一种Href="//www.tianjin-qmedu.com/help/stats/classificationkernel.html">ClassificationKernel
模型对象)。比较ClassificationECOC
线性或内核分类模型组成的模型,使用<一种Href="//www.tianjin-qmedu.com/help/stats/testcholdout.html">testcholdout
代替。
同样的,compareHoldout
不比较<一种Href="//www.tianjin-qmedu.com/help/stats/classificationlinear-class.html">ClassificationLinear
要么<一种Href="//www.tianjin-qmedu.com/help/stats/classificationkernel.html">ClassificationKernel
模型对象。要比较这些模型,使用testcholdout
代替。
执行成本不敏感的特征选择的一种方法是:
系的第一分类模型(<一种Href="#d122e200168" class="intrnllnk">C1
)使用全预测结果集合。
训练第二分类模型(<一种Href="#d122e200330" class="intrnllnk">C2
)使用减小的预测值集。
指定<一种Href="#shared-X1" class="intrnllnk">X1
作为完全测试组预测数据和<一种Href="#shared-X2" class="intrnllnk">X2
作为减少测试集预测数据。
输入compareHoldout(C1,C2,X1,X2,Y, '替代', '少')
。如果compareHoldout
回报1
,然后有足够的证据表明分类模型使用较少的预测变量进行比使用完全预测结果集合模型更好。
或者,您可以评估是否有两个模型的精度之间的差异显著。为了进行这项评估,删除“替代”、“少”
说明书中第4步。compareHoldout
进行双面测试,和H = 0
表明没有足够的证据表明两种模型的准确性有差异。
对成本敏感的测试进行数值优化,这需要额外的计算资源。似然比检验通过乘法器在一个间隔找到拉格朗日的根间接进行数值优化。对于某些数据集,如果根位于关闭到间隔的边界,则该方法可能会失败。因此,如果你有一个优化工具箱许可证,考虑进行成本敏感的卡方检验来代替。有关详细信息,请参阅<一种Href="#d122e201043" class="intrnllnk">CostTest
和<一种Href="//www.tianjin-qmedu.com/help/stats/classificationknn.compareholdout.html" class="intrnllnk">成本敏感测试一种>。
为了直接的两套类标签的准确度比较预测了一套真正的类标签,使用<一种Href="//www.tianjin-qmedu.com/help/stats/testcholdout.html">testcholdout
。
[1] Agresti,A.<Ë米Class="citetitle">分类数据分析Ë米>王建民,第2版。约翰威利父子公司:霍博肯,新泽西州,2002年。
[2] Fagerlan,M.W.,S. Lydersen和P. Laake。“McNemar检验二进制匹配,双数据:中秋节p和渐近更好比精确条件。”<Ë米Class="citetitle">BMC医学研究方法Ë米>。卷。13,2013,第1-8页。
[3]兰开斯特,H.O.“显着性检验中的离散分布。”<Ë米Class="citetitle">JASAË米>卷。56,号码294,1961年,第223-234。
[4]麦克尼马尔,Q.“注意上相关比例或百分比之间的区别的抽样误差”。<Ë米Class="citetitle">PsychometrikaË米>卷。12,第2号,1947年,第153-157。
[5]莫斯特勒,F.“一些统计问题在测量主观对药物的反应。”<Ë米Class="citetitle">生物识别技术Ë米>卷。8,3号,1952年,第220-226。
testcholdout
|<小号p一种ñ一世ŤË米小号Cope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">testckfold