岭回归

介绍岭回归

系数估计模型描述线性回归依靠模型方面的独立性。当术语是相关的和设计矩阵的列X具有近似线性关系,该基质(XŤX-1变得接近奇异。其结果是,最小二乘估计

β ^ = X Ť X - 1 X Ť ÿ

成为所观察到的响应的随机误差高度敏感ÿ,产生大的方差。这种情况多重可能会出现,例如,当数据被未经实验设计收集。

岭回归通过使用估计回归系数解决该问题

β ^ = X Ť X + ķ 一世 - 1 X Ť ÿ

哪里ķ是个皮丘参数一世是单位矩阵。小正值ķ改善这个问题的调节,降低了估计的方差。而施力,脊估计的方差减小相比最小二乘估算时往往导致较小的均方误差。

统计和机器学习工具箱™功能执行岭回归。

岭回归

这个例子说明如何进行岭回归。

加载数据acetylene.mat,与预测变量的观察X1X2X3和响应变量ÿ

加载乙炔

暗算对方的预测变量。

副区(1,3,1)图(X1,X2,'')xlabel('X1')ylabel('X2')网格广场副区(1,3,2)图(X1,X3,'')xlabel('X1')ylabel('X3')网格广场副区(1,3,3)图(X2,X3,'')xlabel('X2')ylabel('X3')网格广场

注意之间的相关性X1和其他两个预测变量。

x2fx到计算系数估计用于与交互项的多线性模型,对一系列的脊参数。

X = [X1 X2 X3的];d = x2fx(X,'相互作用');d(:,1)= [];%没有常数项K = 0:1E-5:5E-3;betahat =脊(Y,d,k)的;

画出岭迹。

图积(K,betahat,'行宽',2)ylim([ -  100 100])格xlabel(“岭参数”)ylabel(“标准化系数”)标题('{\ BF岭跟踪}')图例('X1''X2''X3''X1X2''x1x3'“X 2 X 3”

估计稳定在图的右侧。注意的系数X 2 X 3交互项在岭参数的值改变符号 × 1 0 - 4

也可以看看

||||

相关话题