套索和弹性网
套索和弹性网是什么?
拉索是一种正则化技术。使用套索
:
减少预测的回归模型。
识别重要的预测因子。
选择冗余预测因子之一。
产生收缩估计与预测错误可能低于普通最小二乘法。
弹性网是一个相关的技术。使用弹性网当你有几个高度相关的变量。套索
当你设置提供了弹性净正规化α
名称-值对之间严格的数量0
和1
。
看到套索和弹性网络的细节。
回归套索正规化的乐团,明白了规范
。
套索和弹性网络的细节
套索和弹性网的概述
拉索是一种正则化技术进行线性回归。套索包括一个惩罚项约束的大小估计系数。因此,它就像岭回归。拉索是一个收缩估计量:它生成系数估计是偏小。然而,一个套索估计可以有更小的均方误差比一个普通最小二乘估计量,当你把它应用到新数据。
不像岭回归,随着惩罚项的增加,套索套更多的系数为零。这意味着套索估计量是一个小模型,用更少的预测因子。因此,套索的另一种选择逐步回归和其他模型选择和降维技术。
弹性网是一个相关的技术。弹性网是一个混合的岭回归和套索正规化。像套索,弹性网可以生成模型减少了产生新鲜感系数。实证研究表明,弹性网络技术可以超越套索与高度相关的预测数据。
套索的定义
的套索技术解决了这个正则化问题。对于一个给定的值λ一个非负参数,套索
解决问题
N是观测的数量。
y我是在观察反应吗我。
x我是数据,矢量的p在观测值我。
λ是一个积极的正则化参数对应于一个值的
λ
。的参数β0和β标量和p向量分别。
作为λ增加,非零组件的数量β减少。
套索的问题涉及到l1规范的β,如与弹性网算法。
弹性网的定义
的弹性网技术解决了这个正则化问题。对于一个α严格在0和1之间,和一个非负λ,弹性网络解决问题
在哪里
弹性净套索时是一样的α= 1。作为α减少到0,弹性网的方法脊
回归。其他的值α,惩罚项Pα(β)之间的插入l1规范的β和方l2规范的β。
引用
[1]Tibshirani, R。“回归收缩和通过套索选择。”英国皇家统计学会杂志》上的系列B, 58卷,1号,第288 - 267页,1996年。
[2]邹,h . t . Hastie。通过弹性网“正规化和变量选择。”英国皇家统计学会杂志》上的B系列,2号卷。67年,第320 - 301页,2005年。
[3]弗里德曼,J。,R. Tibshirani, and T. Hastie. "Regularization paths for generalized linear models via coordinate descent."统计软件学报,33卷,1号,2010年。https://www.jstatsoft.org/v33/i01
[4]Hastie, T。,R. Tibshirani, and J. Friedman.统计学习的元素,第二版。施普林格,纽约,2008年。
另请参阅
套索
|lassoglm
|fitrlinear
|lassoPlot
|脊