主要内容

评估回归学习者的模型表现

在回归学习者中的培训回归模型之后,您可以比较基于型号统计的模型,可视化响应图中的结果或通过绘制实际与预测响应,并使用残差图评估模型。

  • 如果你使用k-fold交叉验证,然后应用程序计算模型统计数据使用的观察k验证折叠并报告平均值。它对验证折叠中的观测结果进行了预测,图中显示了这些预测。它还计算了验证折叠中观测值的残差。

    请注意

    当你在应用中导入数据时,如果你接受默认值,应用会自动使用交叉验证。要了解更多,请看选择验证方案

  • 如果使用HoldOut验证,则应用程序使用验证折叠中的观察结果计算模型统计信息,并对这些观察进行预测。该应用程序在绘图中使用这些预测,并且还基于预测计算残差。

  • 如果您使用重新提交验证,则该分数是基于所有培训数据的重新提交模型统计数据,并且预测是重新提交的预测。

在模型窗格中检查性能

在回归学习者中培训模型后,检查楷模窗格查看哪一个模型有最好的整体得分。最好的RMSE(验证)在一个盒子里突出显示。此分数是验证集上的根均方误差(RMSE)。分数估计培训模型对新数据的性能。使用分数来帮助您选择最佳型号。

  • 对于交叉验证,分数是所有观察值的均方根误差(RMSE),计算每一个观察值在一个拒绝(验证)折叠中。

  • 对于抵抗验证,得分是抵抗观察的均方根误差。

  • 对于再替换验证,评分是所有训练数据的再替换RMSE。

最好的总分数可能并不是你目标的最佳模型。有时候,一个整体得分稍低的模型更适合你的目标。您希望避免过度拟合,并且您可能希望排除一些数据收集昂贵或困难的预测器。

查看和比较模型统计数据

中查看模型统计信息当前模型摘要窗格,并使用这些统计数据来评估和比较模型。的培训结果统计信息是根据验证集计算的。的检测结果统计数据,如果显示,则在导入的测试集上计算。有关更多信息,请参阅评估测试设置模型性能

示例当前模型摘要窗格

中复制的信息当前模型摘要窗格,右键单击窗格并选择复制文本

模型数据

统计 描述 提示
RMSE 均方根误差。均方根误差总是正的,其单位与您的响应的单位相匹配。 寻找RMSE的较小值。
平方 确定系数。r²总是小于1,通常大于0。将训练后的模型与响应为常数且等于训练响应均值的模型进行比较。如果你的模型比常数模型差,那么r²就是负的。 求r²接近1。
MSE 均方误差。均方根误差是均方根误差的平方。 寻找较小的MSE值。
ma 意味着绝对错误。MAE总是积极的,与RMSE相似,但对异常值不太敏感。 寻找小额贷款抵押贷款协会的价值。

您可以根据不同的模型统计信息对模型进行排序。要选择要进行模型排序的统计量,请使用排序列表的顶部楷模窗格。

中列出的不需要的模型也可以删除楷模窗格。选择要删除的模型,然后单击删除所选模型按钮,或者右键单击模型并选择删除模型.中的最后一个剩余模型不能删除楷模窗格。

在响应图中探索数据和结果

通过使用响应图来查看回归模型结果,该响应图显示了预测响应与记录编号。培训回归模型后,应用程序会自动打开该模型的响应绘图。如果您培训“所有”模型,则应用程序仅打开第一个型号的响应曲线。要查看另一个型号的响应图,请选择该模型楷模窗格。在回归的学习者选项卡,绘图部分,单击箭头打开图库,然后单击响应验证结果团体。如果您使用的熔断或交叉验证,则预测的响应值是对所示(验证)观察的预测。换句话说,使用在不使用相应观察的情况下训练的模型获得每个预测。

要调查结果,请使用右边的控件。您可以:

  • 绘图预测和/或真正的响应。使用此复选框阴谋来做出选择。

  • 显示预测错误,通过选择预测和真实响应之间的垂直线路,通过选择错误复选框。

  • 控件上绘制的变量x设在下X轴.您可以选择记录号码或您的预测变量之一。

    响应图显示真实值为蓝色点,预测值为黄色点,误差为红色垂直线

  • 将响应作为标记,或作为下面的方框图风格.你可以选择箱线图仅当变量上x-axis几乎没有唯一的值。

    框绘图显示响应的典型值和任何可能的异常值。中心标记表示中间值,盒子的底部和顶部边缘分别是第25和第75百分位数。垂直线路称为晶须,从框中延伸到最极端的数据点,这些数据点不被视为异常值。使用该异常值单独绘制“+”象征。有关框图的更多信息,请参阅箱线图

    响应图显示每个原产国的箱形图。其中蓝框图为真实响应值的分布,黄框图为预测响应值的分布。

要将在应用程序中创建的响应图导出为图形,请参见在回归学习应用程序中导出图

预测与实际反应

使用Predicted vs. Actual plot来检查模型性能。利用这张图来了解回归模型对不同响应值的预测效果如何。在训练模型后,可以查看预测与实际的情节回归的学习者选项卡,绘图部分,单击箭头打开图库,然后单击预测与实际(验证)验证结果团体。

当您打开绘图时,绘制模型的预测响应将绘制实际的真实响应。完美的回归模型具有等于真实响应的预测响应,因此所有点都位于对角线上。从线到任何点的垂直距离是该点预测的误差。一个好的模型有很小的错误,这意味着预测散落在线附近。

回归模型的预测响应与真实响应的图

通常一个好的模型会让点大致对称地分布在对角线周围。如果您能在图中看到任何清晰的模式,那么您很可能可以改进您的模型。方法,尝试训练不同的模型类型或使当前的模型类型更灵活先进的选项在模型类型部分。如果您不能改进您的模型,则可能需要更多的数据,或者您丢失了一个重要的预测器。

要导出预测的VS.实际绘图您在应用程序中创建到数字,请参阅在回归学习应用程序中导出图

用残差图评价模型

利用残差图检查模型性能。要查看模型训练后的残差图,在回归的学习者选项卡,绘图部分,单击箭头打开图库,然后单击残差(验证)验证结果团体。残差绘图显示预测和真实响应之间的差异。控件上绘制的变量x设在下X轴.选择真实的响应、预测的响应、记录编号或您的预测器之一。

回归模型的残差图

通常,一个很好的模型具有大致对称的残差左右。如果您可以在残差看到任何明确的模式,您可能会改善您的模型。寻找这些模式:

  • 残差在0附近不是对称分布的。

  • 残差在情节中从左到右大小变化。

  • 离群值的出现,也就是说,残差比其他残差大得多。

  • 一个清晰的非线性模式出现在残差中。

方法,尝试训练不同的模型类型,或使当前的模型类型更灵活先进的选项在模型类型部分。如果您不能改进您的模型,则可能需要更多的数据,或者您丢失了一个重要的预测器。

要导出您在应用程序中创建的残差绘图,请参阅在回归学习应用程序中导出图

通过改变布局来比较模型图

使用回归学习器中的情节选项,将在回归学习器中训练的模型结果可视化绘图部分的回归的学习者选项卡。可以重新安排图的布局,以便跨多个模型比较结果:使用布局按钮,拖放绘图,或选择位于模型绘图选项卡右侧的文档操作箭头提供的选项。

例如,在Regression Learner中训练两个模型后,为每个模型显示一个plot,并改变plot布局来比较plot,方法如下:

  • 点击布局并选择比较模型绘图部分的回归的学习者选项卡。

  • 单击第二个模型选项卡名称,然后将第二个模型选项卡拖放到右边。

  • 单击位于模型绘图选项卡最右边的Document Actions箭头。选择瓷砖所有选项并指定1 × 2布局。

    使用Document Actions箭头选择并排模型比较

注意,您可以单击“隐藏绘图选项”按钮在情节的右上角,为情节腾出更多的空间。

评估测试设置模型性能

在Regression Learner中训练一个模型后,你可以在app中评估一个测试集上的模型性能。这个过程允许你检查验证指标是否为新数据上的模型性能提供了良好的估计。

  1. 将测试数据集导入回归学习器。

    • 如果测试数据集在MATLAB中®工作区,然后在测试上节回归的学习者选项卡上,单击测试数据并选择从工作空间

    • 如果测试数据集在文件中,则在测试部分中,点击测试数据并选择从文件.在列表中选择文件类型,如电子表格、文本文件或逗号分隔值(.csv.)文件,或选择所有文件浏览其他文件类型,如.dat

    在“导入测试数据”对话框中,从测试数据集变量列表。测试集必须具有与为培训和验证而导入的预测器相同的变量。

  2. 计算测试集指标。

    • 要计算单个型号的测试指标,请选择培训的模型楷模窗格。在回归的学习者选项卡,测试部分中,点击测试所有并选择测试选择

    • 要为所有训练过的模型计算测试指标,请单击测试所有并选择测试所有测试部分。

    该应用程序计算在完整数据集上训练的每个模型的测试集性能,包括训练和验证数据。

  3. 比较验证指标和测试指标。

    当前模型摘要窗格中,应用程序将显示验证指标和测试指标培训结果节和检测结果部分分别。您可以检查验证度量是否给出了测试指标的良好估计值。

    您还可以使用图表将测试结果可视化。

    • 显示预测的VS.实际图。在绘图上节回归的学习者选项卡,单击箭头以打开图库,然后单击预测与实际(测试)检测结果团体。

    • 显示残差图。在绘图部分,单击箭头打开图库,然后单击残差(测试)检测结果团体。

例如,请参见在回归学习应用程序中使用测试集检查模型性能.有关在超参数优化工作流中使用测试集度量的示例,请参见在回归学习者应用中使用HyperParameter优化的列回归模型

相关的话题