高维数据的二元线性分类器拟合
fitclinear
为了减少在包含许多预测变量的高维数据集上的计算时间,使用训练线性分类模型 通过使用纠错输出码结合支持向量机或logistic回归二分类器来训练用于多类学习的线性分类模型,请参见fitcecoc
使用表中的预测变量返回线性分类模型Mdl
= fitclinear (资源描述
ResponseVarName
使用表中的示例数据返回线性分类模型Mdl
= fitclinear (资源描述
公式
使用表中的预测变量返回线性分类模型Mdl
= fitclinear (资源描述
Y
除了前面语法中的任何输入参数组合外,还使用一个或多个名称-值对参数指定选项。例如,您可以指定预测器矩阵的列与观察值对应,实现逻辑回归,或指定交叉验证。一个好的实践是使用Mdl
= fitclinear (X
Y
名称,值
[
还使用任何前面的语法返回优化细节。你不能要求Mdl
FitInfo
[
传递参数时,还返回超参数优化细节Mdl
FitInfo
HyperparameterOptimizationResults
OptimizeHyperparameters
使用支持向量机、双SGD和脊正则化训练二元线性分类模型。万博1manbetx 加载NLP数据集。 识别与统计和机器学习工具箱™文档网页对应的标签。 训练一个二元线性分类模型,可以识别文档网页中的单词计数是否来自统计学和机器学习工具箱™文档。使用整个数据集训练模型。通过提取一个拟合摘要,确定优化算法将模型与数据拟合的程度。负载
X
Ystats = Y ==
rng (1);
Mdl = classficationlinear ResponseName: 'Y' ClassNames: [0 1] ScoreTransform: 'none' Beta: [34023x1 double] Bias: -1.0059 Lambda: 3.1674e-05 Learner: 'svm'属性,方法
FitInfo=
Mdl
FitInfo
为了确定一个良好的套索惩罚强度的线性分类模型使用逻辑回归学习者,实施5倍交叉验证。 加载NLP数据集。 模型应该识别网页中的单词计数是否来自统计学和机器学习工具箱™文档。因此,识别与统计和机器学习工具箱™文档网页相对应的标签。 创建一组11个对数间隔的正则化强度 旨在模型。要提高执行速度,可以调换预测器数据并指定观察结果在列中。使用SpaRSA估计系数。将目标函数梯度的容差降低到 显示第一个训练的线性分类模型。 估计交叉验证的分类误差。 因为有11种正规化强度, 更高的值 在同一图中,绘制每个正则化强度的交叉验证、分类错误率和非零系数的频率。在对数尺度上绘制所有变量。 选择平衡预测变量稀疏性和低分类误差的正则化强度指标。在本例中,是介于之间的值 选择模型负载
X
Ystats = Y ==
λ=对数空间(-6,-0.5,11);
X = X ';rng (10);
CVMdl = ClassificationPartitionedLinear CrossValidatedModel: 'Linear' ResponseName: 'Y' NumObservations: 31572 KFold: 5 Partition: [1x1 cvpartition] ClassNames: [0 1] ScoreTransform: 'none'属性,方法
numCLModels =元素个数(CVMdl.Trained)
numCLModels = 5
CVMdl
Mdl1 = CVMdl。训练有素的{1}
Mdl1 = ClassificationLinear ResponseName: 'Y' ClassNames: [0 1] ScoreTransform: 'logit' Beta: [34023x11 double] Bias:[-13.3808 -13.3808 -13.3808 -13.3808 -13.3808 -13.3808 -13.3808 -13.3808 -13.3808 -13.3808…[1.0000e-06 3.5481e-06 1.2589e-05 4.4668e-05…]学习者:逻辑属性,方法
Mdl1
ce = kfoldLoss (CVMdl);
Mdl = fitclinear (X, Ystats
图;[h,hL1,hL2]=plotyy(log10(Lambda),log10(ce),
idxFinal = 7;
idxFinal MdlFinal = selectModels (Mdl);
最终
这个例子展示了如何最小化线性分类器中的交叉验证错误 加载NLP数据集。 模型应该识别网页中的单词计数是否来自统计学和机器学习工具箱™文档。识别相关标签。 优化分类使用 为了重现性,设置随机种子并使用负载
X
X = X ';Ystats = Y ==
rng
|=====================================================================================================| | Iter | Eval客观客观| | | BestSoFar | BestSoFar |λ|学生| | |结果| |运行时| | (estim(观察) .) | | | |=====================================================================================================| | 1 |最好| 0.041619 | 6.6709 | 0.041619 | 0.041619 | 0.077903 |物流| | 2 |最好| 0.00079184 | 6.4184 | 0.00079184 | 0.0029367 | 2.1405 e-09 |物流| | 3 |接受| 0.049221 | 8.7669 | 0.00079184 | 0.00082068 | 0.72101 |支持向量机| | 4 |接受| 0.00079184 | 5.775 | 0.00079184 | 0.000815 | 3.4734 e-07 |支持向量机| | 5 |接受| 0.00079184 | 5.7506 |0.00079184 | 0.00079162 | 6.3377 e-08 |支持向量机| | 6 |最好| 0.00072849 | 6.123 | 0.00072849 | 0.00072833 | 3.1802平台以及物流| | | | 7日接受| 0.00088686 | 9.7504 | 0.00072849 | 0.00072669 | 3.1843平台以及|支持向量机| | |接受8 | 0.00085519 | 6.7312 | 0.00072849 | 0.00072431 | 2.6328 e-09 |支持向量机| | | 9日接受| 0.00079184 | 8.1651 | 0.00072849 |0.00074339 | 1.3065 e-07 |物流| | 10最好| | 0.00069682 | 6.1395 | 0.00069682 | 0.00066299 | 2.5158 e-08 |物流| | | 11日接受| 0.00079184 | 5.7969 | 0.00069682 | 0.00071402 | 3.7515 e-08 |物流| | | 12日接受| 0.00079184 | 6.3738 | 0.00069682 | 0.00071478 | 1.3131 e-07 |支持向量机| | | 13日接受| 0.00072849 | 5.6554 | 0.00069682 |0.00071584 | 3.1674平台以及物流| | | | 14日接受| 0.00076017 | 5.9448 | 0.00069682 | 0.00072942 | 4.4568 e-08 |物流| | | 15日接受| 0.00072849 | 6.6745 | 0.00069682 | 0.00073013 | 7.5535平台以及物流| | | | 16日接受| 0.00076017 | 5.4024 | 0.00069682 | 0.00073075 | 3.1954平台以及物流| | | | 17日接受| 0.00076017 | 7.1567 | 0.0006968218岁| 0.00072977 | 9.1758 e-09 |物流| | |接受| 0.00072849 | 6.1015 | 0.00069682 | 0.00072983 | 4.4686 e-08 |物流| | | 19日接受| 0.00072849 | 5.8012 | 0.00069682 | 0.00073039 | 8.0196平台以及物流| | | 20 |接受| 0.00076017 | 5.2825 | 0.00069682 | 0.00073013 | 1.7193 e-08 svm | ||=====================================================================================================| | Iter | Eval客观客观| | | BestSoFar | BestSoFar |λ|学生| | |结果| |运行时| | (estim(观察) .) | | | |=====================================================================================================| | 21日|一个ccept| 0.00079184 | 5.8074 | 0.00069682 | 0.0007305 | 1.1233e-07 | svm | | 22 | Accept | 0.00072849 | 5.3167 | 0.00069682 | 0.00073081 | 3.1702e-10 | logistic | | 23 | Accept | 0.049221 | 1.1026 | 0.00069682 | 0.00072533 | 3.1561 | logistic | | 24 | Accept | 0.001457 | 5.8324 | 0.00069682 | 0.0007355 | 0.001078 | svm | | 25 | Accept | 0.00085519 | 4.8939 | 0.00069682 | 0.00073567 | 5.9511e-05 | svm | | 26 | Accept | 0.00088686 | 4.2562 | 0.00069682 | 0.00073562 | 0.00026832 | svm | | 27 | Accept | 0.00082351 | 8.0542 | 0.00069682 | 0.0007355 | 4.1959e-06 | svm | | 28 | Accept | 0.0010136 | 25.768 | 0.00069682 | 0.00073533 | 1.8071e-06 | logistic | | 29 | Accept | 0.00085519 | 18.785 | 0.00069682 | 0.00073529 | 5.2279e-07 | logistic | | 30 | Accept | 0.00076017 | 7.183 | 0.00069682 | 0.00073523 | 1.1406e-06 | svm |
__________________________________________________________ 优化完成。maxobjective达到30个。总函数计算:30总运行时间:250.1851秒总目标函数计算时间:217.4809最佳观测可行点:Lambda Learner __________ ________ 2.5158e-08 logistic观测目标函数值= 0.00069682估计目标函数值= 0.00073751函数评估时间= 6.1395最佳估计可行点(根据模型):Lambda Learner __________ ________ 3.1954e-10 logistic估计目标函数值= 0.00073523估计函数评价时间= 5.6392
Mdl=ClassificationLinear ResponseName:'Y'类名称:[0 1]ScoreTransform:'logit'测试:[34023x1双]偏差:-9.8074 Lambda:3.1954e-10学习者:'logistic'属性、方法
X- - - - - -预测数据
全矩阵|稀疏矩阵
预测器数据,指定为 的长度 请注意 如果您对预测器矩阵进行定位,使观察结果与列对应并指定 数据类型:仅有一个的
Y- - - - - -类标签
分类数组|字符数组|字符串数组|逻辑向量|数值向量|字符向量的单元格阵列
培训分类模型的类标签,指定为分类,字符或字符串阵列,逻辑或数字矢量或字符向量的单元格数组。 的长度 如果 方法指定类的顺序是一种好的实践 数据类型:
fitclinear
“类名”
fitcecoc
X
资源描述
字符
资源描述- - - - - -样本数据
桌子
用于训练模型的样本数据,指定为表。每一行的 可选地, 响应变量必须是一个类别、字符或字符串数组、逻辑或数字向量,或字符向量的单元格数组。 良好做法是通过使用响应变量中类别的顺序 权值所在的列必须是数字向量。 中的响应变量必须指定 使用 通过使用定义模型规范 如果 数据类型:
fitclinear
一会
fitcecoc
ResponseVarName
公式
权重
PredictorNames
Y
桌子
ResponseVarName- - - - - -响应变量名
变量名资源描述
中的响应变量名,指定为变量名 您必须指定 响应变量必须是分类、字符或字符串数组;逻辑或数字向量;或字符向量的单元格数组。如果 方法指定类的顺序是一种好的实践 数据类型:资源描述
一会
字符
公式- - - - - -反应变量和预测变量子集的解释模型
字符向量|字符串标量
解释模型的响应变量和预测变量的子集,指定为字符向量或字符串标量的形式 中指定变量的子集 公式中的变量名必须是其中的两个变量名 数据类型:资源描述
伊斯瓦名称
matlab.lang.makeValidName
字符
请注意
软件处理 响应变量中缺失的值(例如, 在预测器观察中至少有一个缺失值(例如,row in) 为了节省内存使用,最好的做法是在训练前手动从训练数据中删除包含缺失值的观察值。
{2}
南
指定可选的逗号分隔的对“ObservationsIn”、“列”、“学习者”,“物流”、“CrossVal”,“上”
请注意
属性中不能同时使用任何交叉验证的名称-值参数
λ- - - - - -正则化术语力量
“汽车”
(默认)|非负标量|非负值向量
正则化项强度,指定为逗号分隔对组成 为 如果指定交叉验证,名称-值对参数(例如, 否则, 对于非负值向量, 如果 如果 例子: 数据类型:
CrossVal
解算器
正则化
fitclinear
"Lambda",10.^(10:-2:2)
字符
学习者- - - - - -线性分类模型型
“支持向量机”
(默认)|“物流”
线性分类模型类型,指定为逗号分隔对组成 在这个表中, β x b 例子:
价值 算法 响应范围 损失功能
“支持向量机”
万博1manbetx支持向量机 y 铰链:
“物流”
逻辑回归 一样
异常(物流):
“学习者”,“物流”
观察- - - - - -预测数据观测维数
“行”
(默认)|“列”
预测器数据观测维数,指定为 请注意 如果您对预测器矩阵进行定位,使观察结果与列对应并指定 例子: 数据类型:“ObservationsIn”、“列”
字符
正则化- - - - - -复杂性处罚类型
“套索”
|“岭”
复杂度惩罚类型,指定为逗号分隔对,由 该软件由平均损失函数的总和组成最小化目标函数(见 要指定正则项强度,即 该软件排除了偏差项( 如果 提示 对于预测变量选择,指定 为优化精度,指定 例子:学习者
价值 描述
“套索”
套索(L1)罚款:
“岭”
脊(L2)罚款:
λ
解算器
“正规化”、“套索”
解算器- - - - - -目标函数最小化技术
“sgd”
|“asgd”
|“双重”
|“蓄热”|'lbfgs'|“sparsa”|字符串数组|字符向量的单元格阵列
目标函数最小化技术,指定为逗号分隔对组成 如果你指定: 岭罚(见 支持向量机模型(见 一个套索惩罚和 否则,默认解算器是 如果指定包含解析器名称的字符串数组或单元格数组,则 例子: 提示 SGD和ASGD比其他求解器更快地求解目标函数,而LBFGS和SpaRSA比其他求解器更精确。万博 尤文图斯解算器组合等 在SGD和ASGD之间选择时,考虑: SGD每次迭代时间少花时间,但需要更多的迭代来融合。 ASGD需要更少的迭代来收敛,但每次迭代需要更多的时间。 如果预测数据是高维的 尽管你可以设置其他组合,但它们往往导致精度较差的解决方案。万博 尤文图斯 如果预测数据是中等的,通过低维和 如果 例子:
价值 描述 限制
“sgd”
随机梯度下降法
“asgd”
平均随机梯度下降
“双重”
支持向量机的双SGD
正则化
必须是学习者
“蓄热”
Broyden-Fletcher-Goldfarb-Shanno拟牛顿算法
效率低下,如果 X
'lbfgs'
内存有限bfg (LBFGS)
正则化
“sparsa”
可分离近似稀疏重建(SpaRSA)
正则化
λ
{“sgd”“lbfgs”}
“sgd”
“asgd”
“双重”
'lbfgs'
{“sgd”、“lbfgs”}
{“asgd”、“lbfgs”}
{“双”、“lbfgs”}
“sgd”
“asgd”
“sparsa”
{“sgd”、“sparsa”}
{“asgd”、“sparsa”}
“规划求解”,{‘sgd’,‘lbfgs}
β- - - - - -初始线性系数估计
0 (p1)
(默认)|数值向量|数字矩阵
初始线性系数估计( 如果你指定 该软件优化使用 该软件再次优化使用的结果估计从以前的优化作为 软件执行步骤2,直到它耗尽所有的值 如果你指定 如果你设置 数据类型:X
λ
j
j
j
仅有一个的
偏见- - - - - -最初的拦截估计
数字标量|数值向量
初步截距估计( 如果指定一个标量,那么软件将优化目标函数 该软件优化使用 使用得到的估计作为下一个优化迭代的温暖开始,并使用中下一个最小的值 软件执行步骤2,直到它耗尽所有的值 如果指定 默认情况下: 如果 如果 数据类型:λ
j
j
j
学习者
j
仅有一个的
Fitbias.- - - - - -线性模型截距包含标志
真正的
(默认)|假
线性模型截距包含标志,指定为逗号分隔对组成 例子: 数据类型:
价值 描述
真正的
该软件包括偏差项
假
该软件集 “FitBias”,假的
逻辑
PostFitBias- - - - - -标志拟合线性模型截距优化后
假
(默认)|真正的
对拟合的标志进行线性模型截距优化后,指定为逗号分隔对组成 估计 估计 估计分类得分 不菲 如果您指定 例子: 数据类型:
价值 描述
假
软件估计偏差项
真正的
Fitbias.
'postfitbias',true
逻辑
详细的- - - - - -冗长的水平
0
(默认)|非负整数
详细程度,指定为逗号分隔对,由 例子: 数据类型:
价值 描述
0
fitclinear
1
fitclinear
任何正整数 fitclinear
'verbose',1
双倍的
BatchSize- - - - - -Mini-batch大小
正整数
小批量大小,指定为逗号分隔的对,由 如果 如果 例子: 数据类型:
X
'Batchsize',100
仅有一个的
LearnRate- - - - - -学习速率
积极的标量
学习率,指定为逗号分隔对组成 如果
λ 如果 如果 如果 默认情况下, 例子: 数据类型:
正则化
λ
解算器
“LearnRate”,0.01
仅有一个的
优化学习率- - - - - -降低学习速度的标志
真正的
(默认)|假
当软件检测到发散时(即逐步的最小值),指定为逗号分隔对时,标志 如果 对于少量的优化迭代,软件开始优化使用 如果目标函数的值增加,则软件重新启动,并使用当前学习率值的一半。 软件迭代第2步,直到目标函数减小。 例子: 数据类型:
LearnRate
'OptimizeLearnrate',真实
逻辑
TruncationPeriod- - - - - -套索截断运行之间的小批量数量
10
(默认)|正整数
在套索截断运行之间的小批数量,指定为逗号分隔对,由 经过截断运行后,软件对线性系数应用软阈值。即经过处理
SGD, ASGD, 如果 例子: 数据类型:
λ
正则化
“TruncationPeriod”,100年
仅有一个的
分类预测器- - - - - -分类预测列表
正整数向量|逻辑向量|字符矩阵|字符串数组|字符向量的单元格阵列|“全部”
分类预测值列表,指定为此表中的一个值。描述假定预测值数据具有行中的观察值和列中的预测值。 向量中的每一项都是一个指标值,表明相应的预测器是分类的。索引值在1到之间 如果 一个 默认情况下,如果预测器数据在表中( 对于已识别的分类预测因子, 例子: 数据类型:
价值 描述
正整数矢量
逻辑向量
字符矩阵 矩阵的每一行都是一个预测变量的名称。名称必须与里面的条目相匹配 PredictorNames
字符向量的字符串数组或单元格数组 数组中的每个元素都是一个预测变量的名称。名称必须与里面的条目相匹配
“所有”
所有的预测都是绝对的。 资源描述
X
“分类预测因子”,“全部”
仅有一个的
一会- - - - - -用于培训的类名
分类数组|字符数组|字符串数组|逻辑向量|数值向量|字符向量的单元格阵列
用于训练的类名,指定为分类数组、字符数组或字符串数组;逻辑或数字向量;或者字符向量的单元格数组。 如果 使用 在培训期间指定课程的顺序。 指定与类顺序相对应的任何输入或输出参数维的顺序。例如,使用 选择用于培训的类的子集。例如,假设集合中所有不同的类名 的默认值 例子: 数据类型:资源描述
Y
成本
“类名”,(“b”,“g”)
分类
成本- - - - - -误分类代价
方阵|结构数组
误分类代价,指定为逗号分隔对组成 如果你指定了方阵 如果指定结构 的默认值 例子: 数据类型:
一会
S.ClassNames
Y
S.ClassificationCosts
K
K
K
fitclinear
之前
'成本',[0 2;1 0]
仅有一个的
PredictorNames- - - - - -预测变量的名字
字符串唯一名称数组|唯一特征向量的单元数组
预测器变量名,指定为唯一名称的字符串数组或唯一字符向量的单元格数组 如果你提供 名称的顺序 默认情况下, 如果你提供 默认情况下, 一个好的实践是指定使用这两种方法进行训练的预测器 例子: 数据类型:
X
Y
资源描述
PredictorNames
公式
PredictorNames,{‘SepalLength’,‘SepalWidth’,‘PetalLength’,‘PetalWidth}
细绳
之前- - - - - -先前概率
'经验'
(默认)|“统一”
|数值向量|结构数组
每个类的先验概率,指定为逗号分隔对,由 该表总结了设置先验概率的可用选项。 一个结构 例子: 数据类型:
价值 描述
'经验'
类先验概率是类的相对频率 Y
“统一”
所有类的先验概率都等于1/ K
K
数值向量 每个元素都是一个类先验概率。根据元素的顺序排序 “类名”
结构数组
S.ClassNames
S.ClassProbs
fitclinear
“之前”,结构(“类名”,{{“setosa”、“癣”}},ClassProbs, 1:2)
字符
ResponseName- - - - - -响应变量名
“y”
(默认)|字符向量|字符串标量
响应变量名,指定为字符向量或字符串标量。 如果你提供 如果你提供 例子: 数据类型:
Y
ResponseVarName
公式
“ResponseName”、“反应”
字符
ScoreTransform- - - - - -分数转换
“没有”
(默认)|“doublelogit”
|“invlogit”
|“ismax”|“分对数”|函数处理|……
分数转换,指定为字符向量、字符串标量或函数句柄。 该表总结了可用的字符向量和字符串标量。 对于MATLAB函数或您定义的函数,使用其函数句柄进行分数变换。函数句柄必须接受一个矩阵(原始分数)并返回相同大小的矩阵(转换后的分数)。 例子: 数据类型:
价值 描述
“doublelogit”
1 / (1 +
“invlogit”
日志(
“ismax”
将分数最大的班级的分数设置为1,并将所有其他班级的分数设置为0
“分对数”
1 / (1 +
“没有”
x
“标志”
1
“对称”
2
“symmetricismax”
将分数最大的班级的分数设置为1,并将所有其他班级的分数设置为-1
“symmetriclogit”
2/(1 + “ScoreTransform”、“分对数”
字符
权重- - - - - -观察权重
非负数字矢量|变量名资源描述
观察权重,指定为非负数值向量或中变量的名称 如果您将输入数据指定为表 默认情况下, 该软件可实现 数据类型:资源描述
X
仅有一个的
CrossVal- - - - - -交叉验证标志
“关闭”
(默认)|“上”
交叉验证标志,指定为逗号分隔对,由 如果您指定 要覆盖此交叉验证设置,请使用以下名称-值对参数之一: 例子:CVPartition
坚持
KFold
'横向','开'
坚持- - - - - -用于抵抗验证的数据部分
(0,1)范围内的标量值
用于拒绝验证的数据的一部分,指定为逗号分隔对,由 随机储备 存储在紧凑的,训练过的模型 要创建一个交叉验证的模型,您只能使用以下四个选项中的一个: 例子: 数据类型:p
,则软件:
p
* 100CVPartition
'
坚持
'
KFold
'
“坚持”,0.1
双倍的
KFold- - - - - -数量的折叠
10
(默认)|大于1的正整数
要在交叉验证的分类器中使用的折叠数,指定为逗号分隔对,由 将数据随机划分为 对于每个集合,保留该集合作为验证数据,并使用另一个来训练模型 存储 要创建一个交叉验证的模型,您只能使用以下四个选项中的一个: 例子: 数据类型:
k
k
CVPartition
'
坚持
'
KFold
'
“KFold”,8
仅有一个的
BatchLimit- - - - - -最大批数
正整数
要处理的最大批数,指定为逗号分隔对,由 默认情况下: 软件通过数据 如果指定多个求解器,并且使用(a)sgd以获得下一个求解器的初始近似,则默认值是 如果您指定 如果您指定 例子: 数据类型:
PassLimit
BatchSize
'
PassLimit
'
“BatchLimit”,100年
仅有一个的
BetaTolerance- - - - - -线性系数和偏差项的相对公差
1的军医
(默认)|非负标量
相对公差对线性系数和偏差项(截距),指定为逗号分隔对组成 让 中指定的最后一个求解器的软件收敛 例子: 数据类型:解算器
e-6 BetaTolerance, 1
仅有一个的
NumCheckConvergence- - - - - -在下次收敛检查前要加工的批数
正整数
下次收敛检查前要处理的批数,指定为逗号分隔对组成 要指定批大小,请参见 默认情况下,软件每次通过整个数据集检查10次收敛。 例子: 数据类型:BatchSize
“NumCheckConvergence”,100年
仅有一个的
PassLimit- - - - - -最大通过数
1
(默认)|正整数
通过数据的最大传递次数,指定为逗号分隔对,由 当 如果您指定 例子: 数据类型:fitclinear
BatchLimit
'
“通行限制”,5
仅有一个的
ValidationData- - - - - -优化收敛检测的验证数据
单元阵列|桌子
用于优化收敛检测的验证数据,指定为逗号分隔对组成 在优化过程中,软件定期估计损失 您可以指定 如果您指定 您可以选择指定 如果您指定 中指定的最后一个求解器的软件收敛 默认情况下,该软件不会通过监控验证数据丢失来检测收敛。CrossVal
资源描述
ValidationData {1}
X
ValidationData {2}
Y
ResponseVarName
公式
详细的
解算器
BetaTolerance- - - - - -线性系数和偏差项的相对公差
1的军医
(默认)|非负标量
相对公差对线性系数和偏差项(截距),指定为逗号分隔对组成 让 如果你也指定 中指定的最后一个求解器的软件收敛 例子: 数据类型:DeltaGradientTolerance
解算器
e-6 BetaTolerance, 1
仅有一个的
DeltaGradientTolerance- - - - - -Gradient-difference宽容
1
(默认)|非负标量
上下池之间的梯度差公差 如果KKT违反者的大小小于 中指定的最后一个求解器的软件收敛 例子: 数据类型:
解算器
依照“DeltaGapTolerance”,1
双倍的
NumCheckConvergence- - - - - -在下一次收敛检查之前,经过整个数据集处理的次数
5
(默认)|正整数
在下一次收敛检查前通过整个数据集进行处理的次数,指定为逗号分隔对组成 例子: 数据类型:“NumCheckConvergence”,100年
仅有一个的
PassLimit- - - - - -最大通过数
10
(默认)|正整数
通过数据的最大传递次数,指定为逗号分隔对,由 当软件完成一次遍历数据时,它已经处理了所有的观察结果。 当软件通过数据时 例子: 数据类型:“通行限制”,5
仅有一个的
ValidationData- - - - - -优化收敛检测的验证数据
单元阵列|桌子
用于优化收敛检测的验证数据,指定为逗号分隔对组成 在优化过程中,软件定期估计损失 您可以指定 如果您指定 您可以选择指定 如果您指定 中指定的最后一个求解器的软件收敛 默认情况下,该软件不会通过监控验证数据丢失来检测收敛。CrossVal
资源描述
ValidationData {1}
X
ValidationData {2}
Y
ResponseVarName
公式
详细的
解算器
BetaTolerance- - - - - -线性系数和偏差项的相对公差
1的军医
(默认)|非负标量
相对公差对线性系数和偏差项(截距),指定为逗号分隔对组成 让 如果你也指定 中指定的最后一个求解器的软件收敛 例子: 数据类型:GradientTolerance
解算器
e-6 BetaTolerance, 1
仅有一个的
GradientTolerance- - - - - -绝对梯度宽容
1 e-6
(默认)|非负标量
绝对梯度容差,指定为逗号分隔对,由 让 如果你也指定 如果软件收敛到软件中指定的最后一个求解器,则优化终止。否则,软件将使用中指定的下一个求解器 例子: 数据类型:BetaTolerance
解算器
e-5 GradientTolerance, 1
仅有一个的
HessianHistorySize- - - - - -用于Hessian近似的历史缓冲区的大小
15
(默认)|正整数
Hessian近似的历史缓冲区的大小,指定为逗号分隔对组成 软件不支持万博1manbetx 例子: 数据类型:“HessianHistorySize”,10
仅有一个的
IterationLimit- - - - - -最大优化迭代次数
1000
(默认)|正整数
最大数量的优化迭代,指定为逗号分隔对 例子: 数据类型:解算器
“IterationLimit”,500年
仅有一个的
ValidationData- - - - - -优化收敛检测的验证数据
单元阵列|桌子
用于优化收敛检测的验证数据,指定为逗号分隔对组成 在优化过程中,软件定期估计损失 您可以指定 如果您指定 您可以选择指定 如果您指定 中指定的最后一个求解器的软件收敛 默认情况下,该软件不会通过监控验证数据丢失来检测收敛。CrossVal
资源描述
ValidationData {1}
X
ValidationData {2}
Y
ResponseVarName
公式
详细的
解算器
OptimizeHyperparameters- - - - - -参数优化
“没有”
(默认)|“汽车”
|“全部”
|符合条件的参数名称的字符串数组或单元格数组|向量optimizableVariable对象
要优化的参数,指定为逗号分隔的对 字符串数组或符合条件参数名称的单元数组。 向量的 优化尝试最小化交叉验证损失(错误) 请注意 的值 符合条件的参数 通过传递的向量来设置非默认参数 通过 默认情况下,迭代显示出现在命令行,并根据优化中超参数的数量显示绘图。对于优化和绘图,目标函数为误分类率。若要控制迭代显示,请设置 例如,请参见 例子:
“没有”
“汽车”
“全部”
hyperparameters
HyperparameterOptimizationOptions
负载
“OptimizeHyperparameters”、“汽车”
HyperparameterOptimizationOptions- - - - - -选择优化
结构
优化选项,指定为结构。此论点修改了效果 获取函数的名称包括 时间限制,指定为正实标量。时间限制以秒为单位,用 在命令行显示: 有关详细信息,请参阅 指示是否在每次迭代时重新划分交叉验证的逻辑值。如果这个字段是 设置 例子: 数据类型:OptimizeHyperparameters
字段名 值 默认的
优化器
“bayesopt”
bayesopt
“gridsearch”
'randomsearch'
“gridsearch”
“bayesopt”
AcquisitionFunctionName
“expected-improvement-per-second-plus”
“预期改善”
“expected-improvement-plus”
“expected-improvement-per-second”
“较低的信任”
“probability-of-improvement”
“expected-improvement-per-second-plus”
MaxObjectiveEvaluations
最大客观函数评估数。 30.
MaxTime
抽搐
toc
正
NumGridDivisions
为 10
ShowPlots
指示是否显示绘图的逻辑值。如果 ObjectiveMinimumTrace
估计目标最小迹
真正的
SaveIntermediateResults
表示是否保存结果的逻辑值 BayesianOptimization
假
详细的
0
1
2
详细的
名称-值参数和示例1
使用并行
指示是否并行运行贝叶斯优化的逻辑值,这需要并行计算工具箱™。由于并行时序的不可再现性,并行贝叶斯优化并不一定产生可再现的结果。有关详细信息,请参见 假
重新分区
假
使用以下三个选项中的任意一个。
CVPartition
一个
cvpartition
“Kfold”,5
坚持
范围内的标量
kfold.
大于1的整数 “HyperparameterOptimizationOptions”、结构(MaxObjectiveEvaluations, 60)
结构体
Mdl-训练线性分类模型ClassificationLinear模型对象|ClassificationPartitionedLinear旨在模型对象
训练有素的线性分类模型,作为一个返回 如果您设置任何名称-值对参数 引用 请注意 与其他分类模型不同,为了节省内存使用,KFold
坚持
CrossVal
CVPartition
FitInfo——优化细节结构数组
优化细节,作为结构数组返回。 字段指定最终值或名称-值对参数说明,例如, 此表描述了一些值得注意的字段。 优化终止原因 中的值 每次迭代的优化信息的结构数组。这个领域 要访问字段,请使用点符号。例如,要访问每次迭代的目标函数值向量,输入 检查是良好的做法λ
解算器
场 描述
TerminationStatus
Fittime.
流逝,挂钟时间,以秒为单位
历史
整数 解算器
1 SGD
2 ASGD
3. 支持向量机的双SGD
4 LBFGS
5 高炉煤气
6 SpaRSA
HyperparameterOptimizationResults-超参数的交叉验证优化BayesianOptimization对象|超参数和关联值表
超参数的交叉验证优化,以BayesianOptimization
“OptimizeHyperparameters”
的价值 的价值
“bayesopt”
对象的类
BayesianOptimization
“gridsearch”
使用的超参数表,观测到的目标函数值(交叉验证损失),以及观测值从最低(最好)到最高(最差)的排序
一个
高维线性分类和回归模型相对较快地最小化目标函数,但代价是一些精度,只有数值预测变量的限制,模型必须与参数线性相关。如果您的预测数据集是低至中维的,或包含异质变量,那么您应该使用适当的分类或回归拟合函数。要帮助您确定适合低维数据集的拟合函数,请使用此表。 二进制分类: 多类分类: 回归: 计算预测变量的格拉姆矩阵,便于进行非线性核变换。 使用SMO、ISDA或 不正则化最小二乘: 正则最小二乘使用套索惩罚: 岭回归: 没有正常化的Logistic回归: 正则逻辑回归使用套索惩罚:
模型以适应 函数 著名的算法不同
支持向量机
fitcsvm
fitcecoc
fitrsvm
quadprog
线性回归
fitlm
套索
脊
套索
套索
逻辑回归
Fitglm.
lassoglm
Fitglm.
lassoglm
这是一个最佳实践,以使预测器矩阵定位,以便观察对应于列并指定
如果你的预测数据有很少的观察但有很多预测变量,那么: 指定 对于SGD或ASGD求解器,请设置
PassLimit
对于SGD和ASGD求解器, 如果 如果BatchSize
大的学习速率(见LearnRate
在使用套索惩罚时,用不同的值进行实验TruncationPeriod
为了提高效率, 代码要求您将预测器和观察定位为行和列X
x = bsxfun(@ rdivide,bsxfun(@ minus,x,意思(x,2)),std(x,0,2));
在训练模型之后,您可以生成C/ c++代码来预测新数据的标签。生成C/ c++代码需要
如果您指定 当 当随后的验证损失估计超过最小估计5倍时,ValidationData
fitclinear
如果您指定 一次 如果你实现 否则, 您可以确定交叉验证模型的质量。例如: 为了使用第1步中的坚持层或折叠外数据确定验证损失,将交叉验证模型传递给 为了预测第1步中顽固或未折叠数据的观测结果,将交叉验证的模型传递给CrossVal
CVPartition
坚持
KFold
fitclinear
X
Y
资源描述
fitclinear
[1] Hsieh,C.J.,K.W.Chang,C.J.Lin,S. Keerthi和S. Sundararajan。“用于大规模线性SVM的双坐标滴定方法。”
李磊,张涛。“基于截断梯度的稀疏在线学习”。
Nocedal, J.和S. J. Wright。
谢勒夫-施瓦茨,S. Y.辛格和N.斯雷布罗。Pegasos:支持向量机的原始估计次梯度求解器
莱特,S. J., R. D.诺瓦克,M. A. T. Figueiredo。“可分离近似稀疏重建”。
肖[6],林。“正则化随机学习和在线优化的双重平均方法”。
[7]徐,魏。“基于平均随机梯度下降的最优一次大规模学习”。
使用说明和限制: 与内存中的默认值相比,一些名称-值对参数有不同的默认值 对于高阵列, 的初始值 有关更多信息,请参阅
fitclinear
“ObservationsIn”
“λ”
“学习者”
“正规化”
“解算器”
“FitBias”
“详细”
“贝塔”
“偏见”
“类名”
“成本”
“之前”
“重量”
“HessianHistorySize”
“BetaTolerance”
“GradientTolerance”
“IterationLimit”
“OptimizeHyperparameters”
“HyperparameterOptimizationOptions”
要执行并行超参数优化,请使用 有关并行超参数优化的更多信息,请参见 有关并行计算的一般信息,请参见
fitcsvm
|菲克内尔
|fitcecoc
|Fitglm.
|lassoglm
|testcholdout
|fitrlinear
|templateLinear
|预测
|Kfoldpredict
|kfoldLoss
|ClassificationLinear
|ClassificationPartitionedLinear
你点击一个链接对应于这个MATLAB命令: 在MATLAB命令窗口中输入它来运行命令。Web浏览器不支持MATLAB命令。万博1manbetx
选择一个网站,在那里获得翻译的内容,并看到当地的活动和优惠。根据您的位置,我们建议您选择:
你也可以从以下列表中选择一个网站: 选择中国网站(中文或英文)以获得最佳网站性能。其他MathWorks国家站点没有针对您所在位置的访问进行优化。如何获得最佳的网站性能
欧洲