主要内容

选择墨西哥

班级:回归线性

选择安装的正则线性回归模型

描述

例子

子达= SelectModels(MDL.idx.从一组线性回归模型返回培训的线性回归模型的子集(MDL.)使用各种正则化强度培训。指数idx.对应于正则化优势mdl.lambda.,并指定要返回的模型。

输入参数

展开全部

使用各种正则化强度训练的线性回归模型,指定为a回归线性模型对象。你可以创建一个回归线性模型对象使用Fitrinear.

虽然MDL.是一个模型对象,如果numel(mdl.lambda)=L.≥2,然后你可以想到MDL.作为L.训练有素的型号。

与正则化强度相对应的索引,指定为正整数的数字矢量。价值idx.必须处于间隔[1,L.], 在哪里L.=numel(mdl.lambda)

数据类型:双倍的|单身的

输出参数

展开全部

使用各种正则化强度训练的线性回归模型的子集,作为a返回回归线性模型对象。

例子

展开全部

模拟此模型的10000个观察

y = X 1 0. 0. + 2 X 2 0. 0. + E.

  • X = { X 1 X 1 0. 0. 0. } 是10000×1000次稀疏矩阵,具有10%的非零标准正常元素。

  • E.随机正常误差,平均值0和标准偏差0.3。

RNG(1)重复性的%n = 1E4;d = 1e3;nz = 0.1;x = sprandn(n,d,nz);y = x(:,100)+ 2 * x(:,200)+ 0.3 * randn(n,1);

创建一组15个对数间隔的正则化强度 1 0. - 4. 通过 1 0. - 1

lambda = logspace(-4,-1,15);

持有30%的测试数据。识别测试样品指标。

cvp = cvpartition(numel(y),'坚持',0.30);iDxtest =测试(CVP);

使用套索惩罚与强度的惩罚训练线性回归模型lambda.。指定正则化强度,使用sparara和数据分区优化目标函数。为了提高执行速度,转换预测器数据并指定观察中的观察。

x = x';cvmdl = fitrinear(x,y,'观察''列''lambda',lambda,......'求解''sparsa''正规化''套索''cvpartition',CVP);mdl1 = cvmdl.tromed {1};numel(mdl1.lambda)
ans = 15.

MDL1是A.回归线性模型。因为lambda.是一个15维矢量的正规化优势,你可以想到MDL1作为15个培训的模型,一个用于每个正则化强度。

估计每个正则化模型的测试样本均方误差。

MSE =损失(MDL1,x(:,iDxtest),y(iDxtest),'观察''列');

更高的值lambda.导致预测值变稀物质,这是一种回归模型的良好质量。使用整个数据集和先​​前使用的所有选项重新培制模型,除了数据分区规范。确定每个模型的非零系数的数量。

mdl = fitrineear(x,y,'观察''列''lambda',lambda,......'求解''sparsa''正规化''套索');numnzcoeff = sum(mdl.beta〜= 0);

在同一图中,为每个正则化强度绘制非零系数的MSE和频率。绘制日志比例上的所有变量。

数字;[h,hl1,hl2] = plotyy(log10(lambda),log10(mse),......log10(lambda),log10(numnzcoeff));HL1.Marker ='o';HL2.Marker =.'o';ylabel(h(1),'log_ {10} mse')Ylabel(H(2),'log_ {10}非零系数频率')xlabel('log_ {10} lambda') 抓住离开

图包含2个轴。轴1包含类型线的对象。轴2包含类型线的对象。

选择索引或指数lambda.平衡最小分类误差和预测器变稀物质(例如,Lambda(11))。

Idx = 11;mdlfinal = SelectModels(MDL,IDX);

mdlfinal.是训练有素的回归线性使用的模型对象Lambda(11)作为正规化的力量。

尖端

构建多个预测线性回归模型的一种方法是:

  1. 保持一部分数据进行测试。

  2. 使用线性回归模型使用Fitrinear.。使用使用的规范正则化强度网格'lambda.'名称值对参数和提供培训数据。Fitrinear.返回一个回归线性模型对象,但它包含每个正则化强度的型号。

  3. 要确定每个正则化模型的质量,请将返回的模型对象和已停留数据传递给,例如,失利

  4. 确定指数(idx.)令人满意的正则化模型子集,然后通过返回的模型和索引选择墨西哥选择墨西哥返回一个回归线性模型对象,但它包含numel(Idx)正规模型。

  5. 预测新数据的类标签,将数据和正则化模型的子集传递给预测

在R2016A介绍