套索和弹力网

什么是套索和弹性网络?

Lasso是一个正则化技术。用套索至:

  • 减少回归模型的预测数。

  • 确定重要预测指标。

  • 多余的预测中进行选择。

  • 农产品收缩估计与可能低于普通最小二乘法的预测误差。

弹力网是相关技术。当你有几个高度相关的变量使用弹力网。套索提供当您设置弹性网正规化Α名称 - 值对的数目严格之间01

看到套索和弹性网络详细信息

对于回归合奏的套索正规化,见正规化

套索和弹性网络详细信息

套索和弹性网络的概述

套索是用于执行线性回归一个正则化技术。套索包括惩罚项是约束的估计系数的大小。因此,它类似于岭回归。Lasso是一个收缩估计:它产生被偏置得较小系数的估计。不过,套索估计可以比普通最小二乘小均方误差估计,当你把它应用到新的数据。

不像岭回归,作为惩罚项的增加,套索套更多的系数为零。这意味着,套索估计是一个较小的模型,用较少的预测。这样,套索是一个替代逐步回归和其他型号的选择和降维技术。

弹力网是相关技术。弹性网是岭回归和套索正规化的混合体。像套索,弹性网可以通过产生零值系数生成减少模型。实证研究表明,弹性网络技术可以超越套索与高度相关的预测数据。

套索的定义

套索技术解决了这个问题,正规化。对于给定的值λ,一个非负的参数,套索解决问题

β 0 β 1 2 ñ Σ 一世 = 1 ñ ÿ 一世 - β 0 - X 一世 Ť β 2 + λ Σ Ĵ = 1 p | β Ĵ |

  • ñ是观测值的数量。

  • ÿ一世是在观测的响应一世

  • X一世是数据,向量p在观测值一世

  • λ对应的一个值的正则化参数LAMBDA

  • 参数β0β是标量,p分别为维矢量。

λ增加,非零分量的数目β降低。

套索问题涉及到大号1定额β作为对比与弹性网络算法。

弹力网的定义

弹力网技术解决了这个问题,正规化。为α严格0和1,以及一个非负之间λ,弹力网解决问题

β 0 β 1 2 ñ Σ 一世 = 1 ñ ÿ 一世 - β 0 - X 一世 Ť β 2 + λ P α β

哪里

P α β = 1 - α 2 β 2 2 + α β 1 = Σ Ĵ = 1 p 1 - α 2 β Ĵ 2 + α | β Ĵ |

弹性网是相同的套索时α= 1。作为α向0收缩,弹性网的方法回归。对于其他值α,惩罚项Pαβ之间)内插大号1定额β和平方大号2定额β

参考

[1] Tibshirani,R.通过套索回归收缩和选择。皇家统计学会,B系列,第58卷,1期,第267-288,1996号。

[2]邹,H。和T.黑斯蒂。正则化,并通过弹性网络变量选择。皇家统计学会,B系列,卷。67,第2号,第301-320,2005。

[3]弗里德曼,J.,R. Tibshirani,和T.黑斯蒂。用于经由坐标下降广义线性模型正规化路径。杂志统计软件,第33卷,2010号1。https://www.jstatsoft.org/v33/i01

[4] Hastie的,T.,R. Tibshirani,和J.弗里德曼。统计学习的要素,第2版​​。施普林格,2008年,纽约。

也可以看看

||||

相关话题