主要内容

Hyperparameter优化回归学习者应用

在你选择了一个特定类型的模型训练,例如决策树、支持向量机(SVM),您可以调整您的模型通过选择不同的高级选项。万博1manbetx例如,您可以更改最小叶大小的约束的支持向量机决策树或盒子。这些选项的一些模型的内部参数,或hyperparameters可以强烈影响其性能。代替手动选择这些选项,您可以使用hyperparameter优化回归中的学习者应用自动化hyperparameter值的选择。对于一个给定的模型类型,应用程序的不同组合hyperparameter值通过使用一个优化方案,旨在最小化模型的均方误差(MSE),并返回一个与hyperparameters优化模型。您可以使用生成的模型像任何其他训练模型。

请注意

因为hyperparameter优化可以导致一个overfitted模型,推荐的方法是创建一个单独的测试集之前将您的数据导入到回归学习者应用。火车optimizable模型之后,您可以看到如何执行测试集。例如,明白了火车回归模型使用Hyperparameter优化回归学习者应用。

在回归学习者执行hyperparameter优化,遵循这些步骤:

  1. 选择一个类型和决定哪些hyperparameters优化模型。看到选择Hyperparameters优化。

    请注意

    Hyperparameter优化不支持线性回归模型。万博1manbetx

  2. (可选)指定优化是如何执行的。有关更多信息,请参见优化选项。

  3. 训练你的模型。使用最小均方误差图跟踪优化结果。

  4. 检查您的训练模型。看到优化结果。

选择Hyperparameters优化

在回归学习者应用模型部分的回归的学习者选项卡中,单击箭头打开画廊。画廊包括optimizable模型,您可以使用hyperparameter列车优化。

选择optimizable模型之后,您可以选择哪些hyperparameters你想优化。在模型中总结选项卡,在模型Hyperparameters部分中,选择优化复选框的hyperparameters你想优化。下值的固定值,指定hyperparameters你不想优化或者不是optimizable。

此表描述了hyperparameters可以为每种类型的优化模型和每个hyperparameter的搜索范围。它还包括额外的hyperparameters你可以指定固定的值。

模型 Optimizable Hyperparameters 额外Hyperparameters 笔记
Optimizable树

  • 最小叶大小——软件搜索范围的整数对数[1,马克斯(2楼(n / 2))),在那里n是观测的数量。

  • 代理决定分裂

  • 每个节点最大代理人

有关更多信息,请参见回归树模型Hyperparameter选项。
Optimizable支持向量机

  • 核函数——软件搜索中高斯,线性,二次,立方。

  • 箱约束——正值对数之间的软件搜索范围(0.001,1000)。

  • 内核规模——正值对数之间的软件搜索范围(0.001,1000)。

  • ε——正值对数之间的软件搜索范围[0.001,100]*差(Y) / 1.349,在那里Y是响应变量。

  • 标准化数据——软件之间的搜索真正的和假。

  • 的箱约束optimizable hyperparameter结合了箱约束模式和手工盒约束高级选项预设的SVM模型。

  • 的内核规模optimizable hyperparameter结合了内核扩展模式和手动内核规模高级选项预设的SVM模型。

  • 你可以优化内核规模optimizable hyperparameter只有当核函数值是高斯。除非你指定一个值内核规模通过清理优化复选框,该应用程序使用手册的价值1默认情况下,当核函数除了有价值高斯。

  • 的εoptimizable hyperparameter结合了ε模式和手动ε高级选项预设的SVM模型。

有关更多信息,请参见支持向量机模型Hyperparameter选项。
Optimizable探地雷达

  • 基函数——软件搜索中零,常数,线性。

  • 核函数——软件中搜索:

    • Nonisotropic理性的二次

    • 各向同性理性的二次

    • Nonisotropic平方指数

    • 各向同性的平方指数

    • Nonisotropic Matern 5/2

    • 各向同性Matern 5/2

    • Nonisotropic Matern 3/2

    • 各向同性Matern 3/2

    • Nonisotropic指数

    • 各向同性指数

  • 内核规模——软件搜索范围的实际价值(0.001,1)* XMaxRange,在那里XMaxRange = max (max (X) - min (X))和X是预测数据。

  • σ——软件搜索范围的实际价值[0.0001,最大值(0.001,10 *性病(Y))),在那里Y是响应变量。

  • 标准化——软件之间的搜索真正的和假。

  • 信号标准偏差

  • 优化数值参数

  • 的核函数optimizable hyperparameter结合了核函数和使用各向同性内核高级选项的预设高斯过程模型。

  • 的内核规模optimizable hyperparameter结合了内核模式和内核规模高级选项的预设高斯过程模型。

  • 的σoptimizable hyperparameter结合了σ模式和σ高级选项的预设高斯过程模型。

  • 当你优化内核规模各向同性的内核函数,只有内核规模优化,而不是信号标准偏差。你可以指定一个信号标准偏差值或使用其默认值。

    你不能优化内核规模nonisotropic内核函数。

有关更多信息,请参见高斯过程回归模型Hyperparameter选项。
Optimizable合奏

  • 整体方法——软件搜索中袋和LSBoost。

  • 最小叶大小——软件搜索范围的整数对数[1,马克斯(2楼(n / 2))),在那里n是观测的数量。

  • 许多学习者——软件搜索范围的整数对数[10500]。

  • 学习速率——实际值对数之间的软件搜索范围(0.001,1)。

  • 样本数量的预测——软件搜索的整数范围[1,马克斯(2,p)],在那里p是预测变量的数量。

  • 的袋的价值整体方法optimizable hyperparameter指定一个袋装的树木模型。类似地,LSBoost整体方法指定一个值提高了树模型。

  • 的样本数量的预测optimizable hyperparameter不可用高级选项的预设整体模型。

有关更多信息,请参见整体模型Hyperparameter选项。
Optimizable神经网络

  • 完全连接层——软件搜索中1,2,3完全连接层。

    • 软件优化第一层的大小,第二层的大小,第三层的大小通过搜索范围的整数对数[1300]。

  • 激活——软件搜索中线性整流函数（Rectified Linear Unit）,双曲正切,没有一个,乙状结肠。

  • 正则化强度(λ)——实际值对数之间的软件搜索范围[1 e-5 / n, 1 e5 / n],在那里n是观测的数量。

  • 标准化——软件之间的搜索是的和没有。

  • 迭代限制

  • 当软件优化完全连接层的数量,它还优化每一层的大小。你不能指定的数量完全连接层和优化层大小。同样的,你不能指定层尺寸和优化的层数。

有关更多信息,请参见神经网络模型Hyperparameter选项。

优化选项

默认情况下,回归学习者通过使用贝叶斯优化应用程序执行hyperparameter调优。贝叶斯优化的目标和优化一般来说,是要找到一个点,一个目标函数最小化。在hyperparameter调优在应用程序的上下文中,一个点是一组hyperparameter值,目标函数是损失函数,或均方误差(MSE)。更多信息贝叶斯优化的基本知识,明白了贝叶斯优化工作流程。

您可以指定hyperparameter调优是如何执行的。例如,你可以改变网格的优化方法搜索或减少训练时间。在回归的学习者选项卡,选项部分中,点击优化器。应用程序打开一个对话框中,您可以选择优化选项。

让你选择后,点击保存和应用。你的选择影响所有草案optimizable模型模型面板和将适用于新的optimizable创建的模型使用的画廊模型部分的回归的学习者选项卡。

为单一optimizable模型指定优化选项,打开并编辑模型总结之前的培训模式。点击模型模型窗格。该模型总结选项卡包含一个可编辑的优化器部分。

此表描述了可用的优化选项和它们的默认值。

选项 描述
优化器

优化器的值是:

  • Bayesopt(默认),使用贝叶斯优化。在内部,应用程序调用bayesopt函数。

  • 网格搜索——使用网格搜索每个维度值的数量决定的数量的网格划分价值。应用程序在随机顺序搜索,使用统一的网格不重复抽样。

  • 随机搜索——搜索之间的随机点,点对应的数量迭代价值。
获取函数

贝叶斯优化hyperparameter调优应用程序执行时,它使用采集函数来确定下一组hyperparameter值来试一试。

收购函数值是:

  • 每秒加上预期的改进(默认)

  • 预期改善

  • 预计改善+

  • 预计改善每秒

  • 低信心绑定

  • 改进的概率

有关这些收购函数是如何工作的上下文中的贝叶斯优化,明白了获取函数类型。
迭代

每一次迭代的hyperparameter值对应于一个组合应用尝试。当你使用贝叶斯优化或随机搜索,指定一个正整数集迭代的数量。默认值是30.。

当你使用网格搜索应用程序忽略了迭代价值和评估损失在整个网格的每一个点。你可以设置一个培训时间限制阻止过早优化过程。
培训时间限制 设置一个培训时间限制,选择这个选项和设置最大的培训时间在秒选择。默认情况下,应用程序没有一个培训时间限制。
最大的培训时间在秒 设置培训时间限制在几秒钟内作为一个正实数。默认值是300年。运行时可以超过训练时间限制,因为这个限制不中断迭代评估。
数量的网格划分 当你使用网格搜索,设置一个正整数的数量值为每个数字hyperparameter应用尝试。应用分类hyperparameters忽略了这个值。默认值是10。

最小均方误差图

在指定哪种模式hyperparameters优化和设置任何额外的优化选项(可选),训练你optimizable模型。在回归的学习者选项卡,火车部分中,点击火车都并选择选择火车。这个应用程序创建一个最小均方误差图它在优化运行时更新。

最小MSE optimizable合奏的情节模式

最小均方误差(MSE)情节显示以下信息:

  • 最小均方误差估计——每一个淡蓝色的点对应于最小均方误差的一个估计计算的优化过程在考虑所有套hyperparameter值过到目前为止,包括当前迭代。

    估计是基于当前MSE的上层置信区间目标模型,如前所述Bestpoint hyperparameters描述。

    如果你使用网格搜索或执行hyperparameter随机搜索优化,应用不显示这些淡蓝色的点。

  • 观察到的最小均方误差——每一个深蓝色的点对应到目前为止观察到的最小均方误差计算的优化过程。例如,在第三次迭代中,蓝色的点对应的最小MSE观察到在第一,第二,第三个迭代。

  • Bestpoint hyperparameters——红场表明对应于迭代优化的hyperparameters。你可以找到的值优化hyperparameters列在右上角的阴谋优化结果。

    优化hyperparameters并不总是提供观察到的最小均方误差。当应用程序执行使用贝叶斯优化(见hyperparameter调优优化选项简要介绍),它选择的hyperparameter值集最小化一个置信区间的MSE目标模型,而不是设置最小化均方误差。有关更多信息,请参见“标准”、“min-visited-upper-confidence-interval”名称-值参数bestPoint。

  • 最小误差hyperparameters——黄点表明对应于迭代hyperparameters产生观察到最小MSE。

    有关更多信息,请参见“标准”、“min-observed”名称-值参数bestPoint。

    如果你使用网格搜索执行hyperparameter优化Bestpoint hyperparameters和最小误差hyperparameters都是一样的。

缺少点情节对应南最小均方误差值。

优化结果

当应用程序完成hyperparameters优化模型,它返回一个模型训练优化hyperparameter值(Bestpoint hyperparameters)。模型指标,情节,显示和导出模型使用固定hyperparameter值对应于这种训练模式。

检查optimizable训练模型的优化结果,选择模型模型面板和查看模型总结选项卡。

摘要选项卡的optimizable整体模型

的总结选项卡包括这些部分:

  • 培训结果——显示optimizable模型的性能。看到视图和比较模型的统计数据。

  • 模型Hyperparameters——显示optimizable模型的类型和任何固定hyperparameter值列表

    • 优化Hyperparameters——优化hyperparameters的值列表

    • Hyperparameter搜索范围优化hyperparameters——显示了搜索范围

  • 优化器-显示了选择的优化选项

当你使用贝叶斯优化和执行hyperparameter调优训练optimizable模型导出到工作空间结构,包括一个结构BayesianOptimization对象HyperParameterOptimizationResult字段。对象包含结果的优化执行应用程序。

当你产生MATLAB®代码从一个训练有素的模型中,生成的代码使用的固定和优化hyperparameter值模型训练的新数据。生成的代码不包括优化过程。有关如何执行的信息贝叶斯优化使用一个合适的函数时,看到的贝叶斯优化使用合适的函数。

相关的话题