什么是线性回归模型?

线性回归模型描述了A和b之间的关系因变量,y，以及一个或多个独立变量,X。因变量也被称为反应变量。自变量也叫自变量说明要么预测变量。连续预测变量也被称为连续预测变量协变量，分类预测变量也被称为因素。矩阵X对预测变量的观测通常称为设计矩阵。

多元线性回归模型为

y 我 = β 0 + β 1 X 我 1 + β 2 X 我 2 + ⋯ + β p X 我 p + ε 我 , 我 = 1 , ⋯ , n ,

在哪里

  • y我是个我响应。

  • βk是个kth系数,β0是模型中的常数项。有时，设计矩阵可能包含有关常数项的信息。然而,fitlm要么stepwiselm默认情况下，包括模型中的常数项，所以你不得进入1秒的一列到你的设计矩阵X。

  • Xij是个我对…的观察j预测变量,j= 1,…,p。

  • ε我是个我噪声项，即随机误差。

如果一个模型只包含一个预测变量(p= 1，则该模型称为简单线性回归模型。

一般来说，线性回归模型可以是模型的一种形式

y 我 = β 0 + ∑ k = 1 K β k f k ( X 我 1 , X 我 2 , ⋯ , X 我 p ) + ε 我 , 我 = 1 , ⋯ , n ,

在哪里f（·）是自变量的标量值函数，Xij年代。功能,f(X），可能是任何形式的，包括非线性函数或多项式。线性，在线性回归模型，是指系数的线性βk。也就是响应变量，y为系数的线性函数，βk。

线性模型的一些例子是:

y 我 = β 0 + β 1 X 1 我 + β 2 X 2 我 + β 3. X 3. 我 + ε 我 y 我 = β 0 + β 1 X 1 我 + β 2 X 2 我 + β 3. X 1 我 3. + β 4 X 2 我 2 + ε 我 y 我 = β 0 + β 1 X 1 我 + β 2 X 2 我 + β 3. X 1 我 X 2 我 + β 4 日志 X 3. 我 + ε 我

下面，不过，不是线性的模型，因为它们不是线性的未知系数，βk。

日志 y 我 = β 0 + β 1 X 1 我 + β 2 X 2 我 + ε 我 y 我 = β 0 + β 1 X 1 我 + 1 β 2 X 2 我 + e β 3. X 1 我 X 2 我 + ε 我

线性回归模型的一般假设是:

  • 噪音方面,ε我是不相关的。

  • 噪音方面,ε我有独立且相同的正态分布均值为零,方差不变,σ2。因此,

    E ( y 我 ) = E ( ∑ k = 0 K β k f k ( X 我 1 , X 我 2 , ⋯ , X 我 p ) + ε 我 ) = ∑ k = 0 K β k f k ( X 我 1 , X 我 2 , ⋯ , X 我 p ) + E ( ε 我 ) = ∑ k = 0 K β k f k ( X 我 1 , X 我 2 , ⋯ , X 我 p )

    和

    V ( y 我 ) = V ( ∑ k = 0 K β k f k ( X 我 1 , X 我 2 , ⋯ , X 我 p ) + ε 我 ) = V ( ε 我 ) = σ 2

    所以y我所有级别的都是一样的吗Xij。

  • 的响应y我是不相关的。

拟合线性函数为

y ^ 我 = ∑ k = 0 K b k f k ( X 我 1 , X 我 2 , ⋯ , X 我 p ) , 我 = 1 , ⋯ , n ,

在哪里 y ^ 我 估计的反应和bks是拟合系数。对这些系数进行估计，以最小化预测向量之间的均方差 y ^ 和真实的响应向量 y ,这是 y ^ − y 。此方法称为最小二乘法。在噪声项的假设下，这些系数也使预测向量的似然最大。

在线性回归模型的形式y=β1X1+β2X2+……+βpXp,系数βk表示预测变量单单位变化的影响，Xj，求响应E(y），前提是所有其他变量保持不变。系数的符号给出了效果的方向。例如，如果线性模型是E（y) = 1.8 - 2.35X1+X2，则-2.35表示平均响应下降2.35个单位，增加1个单位X1,鉴于X2是保持不变的。如果模型是E(y) = 1.1 + 1.5X12+X2，的系数X12表示的平均值增加了1.5个单位Y增加了一个单位X12给予一切保持不变。然而，在E的情况下（y) = 1.1 + 2.1X1+ 1.5X12，由于不可能保持不变，因此很难用类似的方法解释系数X1常数时X12变化或反之亦然。

参考

[1] Neter, J.， M. H. Kutner, C. J. Nachtsheim，和W. Wasserman。应用线性统计模型。欧文，麦格劳-希尔公司，1996。

[2] Seber, g.a.f。线性回归分析。威利系列在概率论与数理统计。John Wiley和Sons公司，1977年。

另请参阅

||

相关话题

统计和机器学习工具箱文件
万博1manbetx
掌握机器学习:用MATLAB逐步指导

掌握机器学习:用MATLAB逐步指导

下载电子书