岭回归
介绍了岭回归
系数的估计模型中描述线性回归依赖模型的独立性。当条件相关,设计矩阵的列X有一个近似线性相关,矩阵(XTX)1变得接近奇异。因此,最小二乘估计
变得高度敏感的随机观测中的错误响应y,产生很大差异。这种情况下的多重共线性可以发生,例如,当数据收集没有实验设计。
岭回归解决了问题,估计回归系数
在哪里k是岭参数和我是单位矩阵。小的积极的价值观k改善问题的调节,减少估计的方差。虽然有偏见,但减少了岭估计的方差往往导致一个更小的均方误差相比,最小二乘估计。
统计和机器学习的工具箱™函数脊
进行岭回归。
岭回归
这个例子展示了如何执行岭回归。
加载数据acetylene.mat
观测结果的预测变量x1
,x2
,x3
,和响应变量y
。
负载乙炔
情节的预测变量。
次要情节(1、3、1)情节(x1, x2,“。”)包含(x1的)ylabel (“x2”网格)在轴广场次要情节(1、3、2)情节(x1, x3,“。”)包含(x1的)ylabel (“x3”网格)在轴广场次要情节(1,3,3)情节(x2, x3,“。”)包含(“x2”)ylabel (“x3”网格)在轴广场
注意之间的相关性x1
和其他两个预测变量。
使用脊
和x2fx
计算多重线性模型与交互项系数估计,岭参数的范围。
X = (x1, x2) x3);D = x2fx (X,“互动”);D (: 1) = [];%没有常数项k = 0:1e-5:5e-3;betahat =岭(y, D, k);
情节岭跟踪。
图绘制(k, betahat,“线宽”,2)ylim(100年[-100])网格在包含(“岭参数”)ylabel (“标准化系数”)标题(“{\ bf岭跟踪}”)传说(x1的,“x2”,“x3”,“x1x2”,“x1x3”,“x2x3”)
估计稳定右边的阴谋。注意的系数x2x3
交互项变化迹象岭参数的值
。
另请参阅
套索
|lassoglm
|fitrlinear
|lassoPlot
|脊