系数估计模型描述线性回归依靠模型方面的独立性。当术语是相关的和设计矩阵的列X具有近似线性关系,该基质(XŤX)-1变得接近奇异。其结果是,最小二乘估计
成为所观察到的响应的随机误差高度敏感ÿ,产生大的方差。这种情况多重可能会出现,例如,当数据被未经实验设计收集。
岭回归通过使用估计回归系数解决该问题
哪里ķ是个皮丘参数和一世是单位矩阵。小正值ķ改善这个问题的调节,降低了估计的方差。而施力,脊估计的方差减小相比最小二乘估算时往往导致较小的均方误差。
统计和机器学习工具箱™功能岭
执行岭回归。
这个例子说明如何进行岭回归。
加载数据acetylene.mat
,与预测变量的观察X1
,X2
,X3
和响应变量ÿ
。
加载乙炔
暗算对方的预测变量。
副区(1,3,1)图(X1,X2,'')xlabel('X1')ylabel('X2')网格上轴广场副区(1,3,2)图(X1,X3,'')xlabel('X1')ylabel('X3')网格上轴广场副区(1,3,3)图(X2,X3,'')xlabel('X2')ylabel('X3')网格上轴广场
注意之间的相关性X1
和其他两个预测变量。
用岭
和x2fx
到计算系数估计用于与交互项的多线性模型,对一系列的脊参数。
X = [X1 X2 X3的];d = x2fx(X,'相互作用');d(:,1)= [];%没有常数项K = 0:1E-5:5E-3;betahat =脊(Y,d,k)的;
画出岭迹。
图积(K,betahat,'行宽',2)ylim([ - 100 100])格上xlabel(“岭参数”)ylabel(“标准化系数”)标题('{\ BF岭跟踪}')图例('X1','X2','X3','X1X2','x1x3',“X 2 X 3”)
估计稳定在图的右侧。注意的系数X 2 X 3
交互项在岭参数的值改变符号
。
fitrlinear
|套索
|lassoPlot
|lassoglm
|岭