回归学习程序中的超参数优化- MATLAB和Simulink万博1manbetx - 万博1manbetx,s manbetx 845,万博尤文图斯

回归学习程序中的超参数优化

选择要训练的特定类型的模型（例如决策树或支持向量机（SVM））后，可以通过选择不同的高级选项来调整模型。例如，可以更改决策树的最小叶大小或SVM的框约束。其中一些选项是模型的万博1manbetx内部参数或超参数，可能会严重影响其性能。您可以在回归学习器应用程序中使用超参数优化来自动选择超参数值，而不是手动选择这些选项。对于给定的模型类型，应用程序通过使用优化方案尝试超参数值的不同组合，该优化方案寻求最小化模型均方误差（MSE），并返回具有优化超参数的模型。可以像使用任何其他经过训练的模型一样使用生成的模型。

笔记

由于超参数优化可能导致模型过度拟合，建议的方法是在将数据导入回归学习应用程序之前创建一个单独的测试集。在训练可优化模型后，您可以看到它在测试集上的表现。例如，请参见在回归学习程序中使用超参数优化训练回归模型．

要在回归学习器中执行超参数优化，请执行以下步骤：

选择一个模型类型并决定要优化的超参数。看到选择要优化的超参数．

笔记

超参数优化不支持线性回归模型和神经网络。万博1manbetx
(可选)指定优化的执行方式。有关更多信息，请参见优化选项．
训练你的模特。使用最小均方误差图跟踪优化结果。
检查你训练过的模型。看到优化结果．

选择要优化的超参数

在回归学习者应用中，在模型类型部分回归的学习者选项卡，单击箭头以打开图库。该图库包括可优化的模型，您可以使用超参数优化对其进行培训。

选择一个可优化模型后，可以选择要优化的超参数。在模型类型部分中,选择高级>高级．应用程序会打开一个对话框，你可以在其中进行选择优化要优化的超参数的复选框。在下面价值观，为不希望优化或不可优化的超参数指定固定值。

该表描述了可以针对每种模型类型进行优化的超参数，以及每个超参数的搜索范围。它还包括额外的超参数，您可以为其指定固定值。

模型	Optimizable Hyperparameters	额外Hyperparameters	笔记
可优化树	最小叶大小—软件在范围内的对数-比例整数中搜索`[1,马克斯(2楼(n / 2)))`,在那里`N`为观察次数。	代理决定分裂每个节点最大代理数	有关更多信息，请参见高级回归树选项．
Optimizable支持向量机	核函数-软件搜索`高斯`,`线性的`,`二次`,`立方体的`．箱约束-软件在范围内的正数值中进行对数缩放搜索`[0.001,1000]`．核尺度-软件在范围内的正数值中进行对数缩放搜索`[0.001,1000]`． ε-软件在范围内的正数值中进行对数缩放搜索`[0.001100]iqr（Y）/1.349`,在那里`Y`为响应变量。标准化数据*—软件之间搜索`真正的`和`错误的`．		这个箱约束可优化超参数组合箱约束模式和手动框约束预先设定的支持向量机模型的高级选项。这个核尺度可优化超参数组合内核扩展模式和手动内核规模预先设定的支持向量机模型的高级选项。你可以优化核尺度可优化超参数仅当核函数值是`高斯`. 除非您为核尺度通过清理优化复选框，应用程序将使用手册的价值`1.`默认情况下核函数具有除`高斯`．这个ε可优化超参数组合ε模式和手动ε预先设定的支持向量机模型的高级选项。有关更多信息，请参见高级SVM选项．
Optimizable探地雷达	基函数-软件搜索`零`,`常数`,`线性的`．核函数—软件搜索如下: `非各向同性有理二次型` `各向同性有理二次型` `Nonisotropic平方指数` `各向同性的平方指数` `Nonisotropic Matern 5/2` `各向同性材料5/2` `Nonisotropic Matern 3/2` `各向同性Matern 3/2` `Nonisotropic指数` `各向同性指数` 核尺度–软件在范围内的实际值之间搜索`[0.001,1]XMaxRange`,在那里`XMaxRange=最大值（最大值（X）–最小值（X））`和`X`是预测数据。 σ–软件在范围内的实际值之间搜索`[0.0001,最大值(0.001,10 性病(Y)))`,在那里`Y`为响应变量。标准化—软件之间搜索`真正的`和`错误的`．	信号标准偏差优化数值参数	这个核函数可优化超参数组合核函数和使用各向同性核预设的高斯过程模型的高级选项。这个核尺度可优化超参数组合内核模式和核尺度预设的高斯过程模型的高级选项。这个σ可优化超参数组合σ模式和σ预设的高斯过程模型的高级选项。当您优化核尺度对于各向同性核函数，优化的只是核尺度，而不是信号标准差。你可以指定a信号标准偏差值或使用其默认值。你不能优化核尺度非各向同性核函数。有关更多信息，请参见高级高斯过程回归选项．
可优化系综	整体方法-软件搜索`袋`和`LSBoost`．最小叶大小—软件在范围内的对数-比例整数中搜索`[1,马克斯(2楼(n / 2)))`,在那里`N`为观察次数。许多学习者—软件在范围内的对数-比例整数中搜索`[10500]`．学习率-软件在范围内的对数比例的真实值中搜索`[0.001,1]`．样本预测数—软件在范围内的整数中进行搜索`[1，最大值（2，p）]`,在那里`P`为预测变量的数量。		这个`袋`价值整体方法optimizable hyperparameter指定一个套袋树模型同样地`LSBoost`整体方法指定一个值提高了树模型。这个样本预测数预设集成模型的高级选项中没有可优化的hyperparameter。有关更多信息，请参见高级合奏选项．

优化选项

默认情况下，回归学习器应用程序通过使用贝叶斯优化执行超参数调整。贝叶斯优化和一般优化的目标是找到一个使目标函数最小化的点。在应用程序中的超参数调整上下文中，一个点是一组超参数值，目标函数是损失函数或均方误差（MSE）。有关贝叶斯优化基础知识的更多信息，请参见贝叶斯优化工作流程．

您可以指定如何执行超参数调优。例如，可以将优化方法改为网格搜索或限制训练时间。在回归的学习者选项卡,模型类型部分中,选择高级>优化选项. 应用程序将打开一个对话框，您可以在其中选择优化选项。

该表描述了可用的优化选项及其默认值。

选项	描述
优化器	优化器的值是: `贝耶斯波特`(默认)-使用贝叶斯优化。在内部，应用程序调用`贝耶斯波特`作用 `网格搜索`-使用网格搜索，每个维度的值的数量由网格分区数价值。该应用程序使用均匀抽样，不从网格中替换，以随机顺序搜索。 `随机搜索`–在点之间随机搜索，其中点的数量对应于迭代价值。
获取函数	当应用程序对超参数进行贝叶斯优化调优时，它使用获取函数确定下一组超参数值进行尝试。获取函数值为: `每秒预期改善数加上`(默认) `预期改善` `预期改善加` `预期每秒改善量` `低信心绑定` `改进的概率` 有关这些获取功能如何在贝叶斯优化上下文中工作的详细信息，请参见采集功能类型．
迭代	每次迭代都对应于应用程序尝试的超参数值的组合。当您使用贝叶斯优化或随机搜索时，请指定一个设置迭代次数的正整数。默认值为`30.`．使用网格搜索时，应用程序会忽略迭代计算并评估整个网格中每个点的损耗。您可以设置培训时间限制以提前停止优化过程。
训练时限	要设置培训时间限制，请选择此选项并设置最大训练时间，以秒为单位选择。默认情况下，应用程序没有训练时间限制。
最大训练时间，以秒为单位	将训练时间限制(以秒为单位)设置为正实数。默认值为`300`．运行时间可能会超过训练时间限制，因为这个限制不会中断迭代计算。
网格分区数	当您使用网格搜索时，设置一个正整数作为应用程序为每个数值超参数尝试的值的数量。对于分类超参数，应用程序忽略这个值。默认值为`10`．

最小均方误差图

在指定要优化的模型超参数和设置任何额外的优化选项(可选)之后，训练可优化的模型。在回归的学习者选项卡,培训部分中,点击火车．应用程序创建一个最小均方误差图它会随着优化的运行而更新。

笔记

当你训练一个可优化的模型时，应用程序会禁用使用并行按钮。培训完成后，当您选择一个不可优化的模型时，应用程序使按钮再次可用。该按钮默认关闭。

最小均方误差(MSE)图显示了以下信息:

最小均方误差估计–当考虑到目前为止尝试的所有超参数值集（包括当前迭代）时，每个浅蓝色点对应于优化过程计算的最小MSE估计值。
估计是基于当前MSE目标模型的上置信区间，如上文所述最佳点超参数描述。
如果你使用网格搜索或随机搜索来执行超参数优化，应用程序不会显示这些浅蓝色的点。
观察到的最小均方误差-每个深蓝色点对应的是到目前为止通过优化过程计算到的观测到的最小MSE。例如，在第三次迭代时，蓝色点对应于在第一次、第二次和第三次迭代中观测到的MSE的最小值。
最佳点超参数–红方块表示与优化超参数对应的迭代。您可以在下的绘图右上角找到列出的优化超参数值优化结果．
优化的超参数并不总是提供观测到的最小均方误差。当应用程序使用贝叶斯优化执行超参数优化时（请参阅优化选项(简单介绍)，它选择最小化MSE目标模型的上置信区间的超参数值集合，而不是最小化MSE的集合。有关更多信息，请参阅“标准”、“min-visited-upper-confidence-interval”的名称-值对参数bestPoint．
最小误差hyperparameters—黄点表示对应于产生观测最小MSE的超参数的迭代。
有关更多信息，请参阅“标准”，“最小观察值”的名称-值对参数bestPoint．
如果使用网格搜索执行超参数优化，则最佳点超参数和最小误差hyperparameters都是一样的。