主要内容

岭回归

介绍了岭回归

系数的估计模型中描述线性回归依赖模型的独立性。当条件相关,设计矩阵的列X有一个近似线性相关,矩阵(XTX)1变得接近奇异。因此,最小二乘估计

β ^ = ( X T X ) − 1 X T y

变得高度敏感的随机观测中的错误响应y,产生很大差异。这种情况下的多重共线性可以发生,例如,当数据收集没有实验设计。

岭回归解决了问题,估计回归系数

β ^ = ( X T X + k 我 ) − 1 X T y

在哪里k是岭参数和我是单位矩阵。小的积极的价值观k改善问题的调节,减少估计的方差。虽然有偏见,但减少了岭估计的方差往往导致一个更小的均方误差相比,最小二乘估计。

统计和机器学习的工具箱™函数脊进行岭回归。

岭回归

打开生活的脚本

这个例子展示了如何执行岭回归。

加载数据acetylene.mat观测结果的预测变量x1,x2,x3,和响应变量y。

负载乙炔

情节的预测变量。

次要情节(1、3、1)情节(x1, x2,“。”)包含(x1的)ylabel (“x2”网格)在轴广场次要情节(1、3、2)情节(x1, x3,“。”)包含(x1的)ylabel (“x3”网格)在轴广场次要情节(1,3,3)情节(x2, x3,“。”)包含(“x2”)ylabel (“x3”网格)在轴广场

图包含3轴对象。轴与包含对象1 x1, x2 ylabel包含一行对象显示它的值只使用标记。轴和包含对象2 x1, ylabel x3包含一行对象显示它的值只使用标记。轴和包含对象3 x2, ylabel x3包含一行对象显示它的值只使用标记。

注意之间的相关性x1和其他两个预测变量。

使用脊和x2fx计算多重线性模型与交互项系数估计,岭参数的范围。

X = (x1, x2) x3);D = x2fx (X,“互动”);D (: 1) = [];%没有常数项k = 0:1e-5:5e-3;betahat =岭(y, D, k);

情节岭跟踪。

图绘制(k, betahat,“线宽”,2)ylim(100年[-100])网格在包含(“岭参数”)ylabel (“标准化系数”)标题(“{\ bf岭跟踪}”)传说(x1的,“x2”,“x3”,“x1x2”,“x1x3”,“x2x3”)

图包含一个坐标轴对象。坐标轴对象与标题空白我d g e空白T R c e,包含岭参数,ylabel标准化系数包含6行类型的对象。这些对象代表x1, x2, x3, x1x2, x1x3 x2x3。

估计稳定右边的阴谋。注意的系数x2x3交互项变化迹象岭参数的值 ≈ 5 × 1 0 - - - - - - 4 。

另请参阅

||||

相关的话题