贝叶斯线性回归

线性回归是一种统计工具，用于:

  • 研究的线性依赖或影响预测或说明变量在响应变量。

  • 根据未来预测数据预测或预测未来的反应。

的多元线性回归（高)模型

y t ＝ x t β + ε t ．

为次t＝1，…,T：

  • yt为观察到的响应。

  • xt是一个1 - (p+ 1）的观测值的行向量p预测因子。为了适应模型拦截，x1t= 1 for allt．

  • β是(p+ 1）组成列的变量对应的回归系数的列向量xt．

  • εt为均值为0,Cov(ε) =Ω．一般来说,Ω是一个T——- - - - - -T对称正定矩阵。为简单起见，假设扰动是不相关的且具有共同方差，即，Ω＝σ2我T×T．

的值β表示相应预测因子的预期边际贡献yt．当预测xj增加一个单位，y预计增长多少βj单位，假设所有其他变量保持不变。εt真实响应和预期响应之间的随机差异是多少t．

经典与贝叶斯分析

要研究预测器对响应的线性影响，或构建预测MLR，必须首先估计参数β和σ2．频率论的统计学家使用经典的估计方法，也就是说，他们把参数看作是固定的但未知的量。常用的频率估计工具包括最小二乘和最大似然。如果扰动是独立的，同方差的，和高斯或<一个href="//www.tianjin-qmedu.com/help/stats/normal-distribution.html" class="a">正常的（统计学和机器学习工具箱)，然后最小二乘和最大似然得到等价的估计。推论，如参数估计的置信区间或预测区间，是基于扰动的分布。有关MLR分析的频率主义者方法的更多信息，请参见<一个href="//www.tianjin-qmedu.com/help/econ/examples/time-series-regression-i-linear-models.html" class="a">时间序列回归I:线性模型或<一个href="//www.tianjin-qmedu.com/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">［6］，Ch。3。计量经济学工具箱™中的大多数工具都是频繁的。

一个贝叶斯方法估计和推理的MLR模型处理β和σ2作为随机变量而不是固定的未知数。一般来说，贝叶斯分析的目标是通过合并来自观测数据的参数信息来更新参数的概率分布。在对数据进行抽样之前，你对参数的联合分布有一些信念。在抽样之后，您将由数据分布所诱发的可能性与您的先验信念结合起来，组成给定数据的参数的联合条件分布。结果分布的特征和函数是估计和推断的基础。

主要贝叶斯分析组件

贝叶斯分析的主要目标之一是计算，或从后验分布（或后）.后验是使用(或给定)数据更新的参数的分布，由以下数量组成:

  • 一个似然函数—样本提供的参数信息。如果你随机抽样，那么MLR的可能性是

    ℓ （ β ， σ 2 | y ， x ） ＝ ∏ t ＝ 1 T P （ y t | x t ， β ， σ 2 ） ．

    P （ y t | x t ， β ， σ 2 ） 条件概率密度函数是yt给定参数并由条件分布诱导εt．通常情况下,xt是一个固定的量。如果扰动是独立的，同方差的，高斯的，那么

    ℓ （ β ， σ 2 | y ， x ） ＝ ∏ t ＝ 1 T ϕ （ y t ； x t β ， σ 2 ） ．

    ϕ（yt；xtβ，σ2)为带均值的高斯概率密度xtβ和方差σ2,评估yt．

  • 先验分布（或先知先觉）的参数-你在观察数据之前假设的参数的分布。对参数施加先验分布假设比频繁分析更有优势:先验允许您在查看数据之前整合关于模型的知识。你可以通过调整先验方差来控制你对参数知识的信心。指定高方差意味着您对参数了解得很少，并且希望更重地衡量有关参数的数据中的信息。指定低方差意味着您对参数的知识有很高的信心，并且您希望在分析中考虑到这些知识。

    在实践中，使用先验是为了方便，而不是遵循研究人员关于参数实际分布的意见。例如，您可以选择先验，使相应的后验分布在相同的分布族中。这些前后对被称为前后对共轭分布。但是，先验的选择可能会影响估计和推断，因此您应该使用估计执行敏感性分析。

    Priors可以包含参数，调用hyperparameters它们本身也可以有概率分布。这样的模型叫做分层贝叶斯模型．

    对于MLR，先前的分布通常表示为π（β），π（σ2）.一个流行的选择是normal-inverse-gamma共轭模型，在这π（β|σ2)为多元高斯或<一个href="//www.tianjin-qmedu.com/help/stats/multivariate-normal-distribution.html" class="a">多元正态（统计和机器学习工具箱)分布和π（σ2)为gamma分布的逆。

    • 你可以包含关节后验分布β和σ2使用贝叶斯规则，即，

    π （ β ， σ 2 | y ， x ） ＝ π （ β ） π （ σ 2 ） ℓ （ β ， σ 2 | y ， x ） ∫ β ， σ 2 π （ β ） π （ σ 2 ） ℓ （ β ， σ 2 | y ， x ） d β d σ 2 ∝ π （ β ） π （ σ 2 ） ℓ （ β ， σ 2 | y ， x ） ．

    如果β取决于σ2，则其优先级应替换为π（β|σ2）.分母是给出预测器后响应的分布，在你观察之后它变成了一个常数y．因此，后验常写成与分子成正比。

    后验概率和其他随机变量的联合概率分布一样，它包含了所有已知的参数信息。参数估计和推论主要基于参数相对于后验分布的函数积分。

    后验估计与推理

    后验估计和推理涉及参数关于后验的积分函数。MLR参数的常用估计量和推论包括:

    • 的期望值β给定数据

      β ＾ ＝ E （ β | y ， x ） ＝ ∫ β ， σ 2 β π （ β ， σ 2 | y ， x ） d β d σ 2 ．

      这个量提供了一个自然的解释，是最小均方误差(MSE)估计量，也就是说，它是最小的 E ［ （ β ＾ − β ） 2 | y ， x ］ ． 中位数、模式或分位数可以是相对于其他损失的贝叶斯估计量。

    • 的最大先验估计（MAP) -使后验分布最大化的参数值。

    • 给出数据，预测的反应 y ＾ 的预测 x ＾ 是一个随机变量后预测分布

      π （ y ＾ | y ， x ， x ＾ ） ＝ ∫ β ， σ 2 f （ y ＾ | β ， σ ， x ＾ ） π （ β ， σ 2 | y ， x ） d β d σ 2 ．

      你可以把这个量看成概率分布的条件期望值y关于参数的后验分布。

    • 95%置信区间β（或可信区间）- - -设置年代这样P（β∊年代|y，x) =0．95。这个方程产生无穷多个区间，包括:

      • Equitailed间隔，为区间(l，U），这样P（β<l|y，x= 0。025 andP（β>U|y，x) =0．025。

      • 后验密度最高（HPD)区域，它是产生指定概率的最窄区间(或多个区间)。它必须包含最大的后验值。

      不同于频率置信区间的解释，贝叶斯置信区间的解释是给定数据，随机的概率β在区间(s)内年代是0.95。这种解释是直观的，这是贝叶斯置信区间相对于频率置信区间的一个优势。

    • 变量包含的边际后验概率，也称为状态概率，是实施随机搜索变量选择(SSVS)的结果，表明预测变量在贝叶斯线性回归模型中是否不显著或冗余。在科学中,β具有多元双组分高斯混合分布。两个分量的均值都为零，但其中一个分量的方差很大，另一个分量的方差很小。不显著的预测指标可能接近于零;因此，它们来自方差小的分量。SSVS样本从空间2p+ 1一个模型的排列，每个排列包括或排除一个系数，并且具有最高后验密度的模型更经常抽样。从抽样模型中导出了状态概率。

      • 集成方法取决于产品的功能形式 π （ β ） π （ σ 2 ） ℓ （ β ， σ 2 | y ， x ） 比如被积函数，h（β，σ2）.

      • 如果乘积是已知概率分布的核，那么h（β，σ2)与后缘的关系在分析上是易于处理的。当你选择先验和后验来形成共轭对时，通常会出现已知的核。在这些情况下，分布的前几个时刻通常是已知的，并基于它们进行估计。有关计量经济学工具箱中的贝叶斯线性回归模型框架提供的分析可处理的后验分布的详细信息，请参见<一个href="//www.tianjin-qmedu.com/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">易于分析后验．

      • 否则，必须使用数值积分技术来计算的积分h（β，σ2)相对于后验分布。在一定条件下，可以使用蒙特卡罗或马尔可夫链蒙特卡罗（密度)抽样。

        • 为了进行蒙特卡罗估计，您从一个概率分布中抽取许多样本，并对每次抽取应用一个适当的函数(h（β，σ2)是函数中的一个因子)，并对结果图求平均值以近似积分。蒙特卡罗方法中最流行的方法是重采样<一个href="//www.tianjin-qmedu.com/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">［6］．

        • 当你不知道一个常数之前的概率分布，或者你知道所有参数的条件分布，至少知道一个常数之前的条件分布时，你就可以实现MCMC。流行的MCMC技术包括吉布斯抽样<一个href="//www.tianjin-qmedu.com/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">［２］大都会-黑斯廷斯算法<一个href="//www.tianjin-qmedu.com/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">［5］，切片取样<一个href="//www.tianjin-qmedu.com/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">［9］．

        当后验难以处理时，有关计量经济学工具箱中贝叶斯线性回归模型的后验估计的详细信息，请参见<一个href="//www.tianjin-qmedu.com/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">分析棘手的后验．

      易于分析后验

      计量经济学工具箱中的贝叶斯线性回归框架提供了几个先验模型规范，它们产生了分析上可处理的共轭边际或条件后验。该表识别了之前的模型和它们对应的后模型。当你把之前的模型和数据传递给<一个href="//www.tianjin-qmedu.com/help/econ/conjugateblm.estimate.html">估计, MATLAB®使用这些公式。当软件构造后端时，它假设响应数据yt，t＝1，…,T，是一个具有均值的高斯分布的随机样本xtβ和方差σ2．

      之前的模型对象先知先觉边缘后验条件后验
      conjugateblm

      β | σ 2 ～ N p + 1 （ μ ， σ 2 V ） ． σ 2 ～ 我 G （ 一个 ， B ） ．

      β和σ2是独立的。

      β | y ， x ～ t p + 1 （ （ V − 1 + X ” X ） − 1 ［ （ X ” X ） β ＾ + V − 1 μ ］ ， 2 B − 1 + （ y − X β ＾ ） ” （ y − X β ＾ ） + （ β ＾ − μ ） ” ［ V + （ X ” X ） − 1 ］ − 1 （ β ＾ − μ ） 2 一个 + T ， 2 一个 + T ） ． σ 2 | y ， x ～ 我 G （ 一个 + T 2 ， ［ B − 1 + 1 2 （ y − X β ＾ ） ” （ y − X β ＾ ） + 1 2 （ β ＾ − μ ） ” ［ V + （ X ” X ） − 1 ］ − 1 （ β ＾ − μ ） ］ − 1 ） ．

      		β | σ 2 ， y ， x ～ N p + 1 （ （ V − 1 + X ” X ） − 1 ［ （ X ” X ） β ＾ + V − 1 μ ］ ， σ 2 （ V − 1 + X ” X ） − 1 ） ． σ 2 | β ， y ， x ～ 我 G （ 一个 + T + p + 1 2 ， ［ B − 1 + 1 2 （ y − X β ） ” （ y − X β ） + 1 2 （ β − μ ） ” V − 1 （ β − μ ） ］ − 1 ） ．
      semiconjugateblm

      β | σ 2 ～ N p + 1 （ μ ， V ） ． σ 2 ～ 我 G （ 一个 ， B ） ．

      β和σ2是相关的。

      		分析棘手的

      β | σ 2 ， y ， x ～ N p + 1 （ （ V − 1 + σ − 2 X ” X ） − 1 ［ σ − 2 （ X ” X ） β ＾ + V − 1 μ ］ ， （ V − 1 + X ” X ） − 1 ） ． σ 2 | β ， y ， x ～ 我 G （ 一个 + T 2 ， ［ B − 1 + 1 2 （ y − X β ） ” （ y − X β ） ］ − 1 ） ．

      diffuseblm

      联合优先pdf是

      f β ， σ 2 （ β ， σ 2 ） ∝ 1 σ 2 ．

      β | y ， x ～ t p + 1 （ β ＾ ， （ y − X β ＾ ） ” （ y − X β ＾ ） T − p − 1 （ X ” X ） − 1 ， T − p − 1 ） ． σ 2 | y ， x ～ 我 G （ T − p − 1 2 ， ［ 1 2 （ y − X β ＾ ） ” （ y − X β ＾ ） ］ − 1 ） ．

      β | σ 2 ， y ， x ～ N p + 1 （ β ＾ ， σ 2 （ X ” X ） − 1 ） ． σ 2 | β ， y ， x ～ 我 G （ T 2 ， ［ 1 2 （ y − X β ） ” （ y − X β ） ］ − 1 ） ．

      mixconjugateblm

      γ ＝ ｛ γ 1 ， … ， γ p + 1 ｝ ～ p （ γ ） ． ∀ j ， γ j ∈ ｛ 0 ， 1 ｝ ． ∀ j ， β j | σ 2 ， γ j ＝ γ j σ V j 1 Z 1 + （ 1 − γ j ） σ V j 2 Z<米n> 2 ． Z k ～ N （ 0 ， 1 ） ； k ＝ 1 ， 2. σ 2 ～ 我 G （ 一个 ， B ） ．

      		尽管边缘后端在分析上是可处理的，但MATLAB将其视为难以扩展的(参见<一个href="//www.tianjin-qmedu.com/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">［1］）.

      易于分析,如果γj和γk都是独立的吗j≠k

      γ j | β ， γ ≠ j ， σ 2 ， X ， y ～ 伯努利<米row> （ 一个 j 一个 j + b j ） ； j ＝ 1 ， … ， p + 1. ∀ j ， 一个 j ＝ P （ γ j ＝ 1 ） ϕ （ 0 ， σ 2 V j 1 ∗ ） ． ∀ j ， b j ＝ P （ γ j ＝ 0 ） ϕ （ 0 ， σ 2 V j 2 ∗ ） ． β | σ 2 ， γ ， X ， y ～ N p + 1 （ （ V ∗ − 1 + X ” X ） − 1 X ” Y ， σ 2 （ V ∗ − 1 + X ” X ） − 1 ） ． σ 2 | β ， γ ， X ， y ～ 我 G （ 一个 + T + p + 1 2 ， ［ B − 1 + 1 2 （ y − X β ） ” （ y − X β ） + 1 2 β ” V ∗ − 1 β ］ − 1 ） ．

      mixsemiconjugateblm

      γ ＝ ｛ γ 1 ， … ， γ p + 1 ｝ ～ p （ γ ） ． ∀ j ， γ j ∈ ｛ 0 ， 1 ｝ ． ∀ j ， β j | σ 2 ， γ j ＝ γ j V j 1 Z 1 + （ 1 − γ j ） V j 2 Z<米n> 2 ． Z k ～ N （ 0 ， 1 ） ； k ＝ 1 ， 2. σ 2 ～ 我 G （ 一个 ， B ） ．

      		分析棘手的

      易于分析,如果γj和γk都是独立的吗j≠k

      γ j | β ， γ ≠ j ， σ 2 ， X ， y ～ 伯努利<米row> （ 一个 j 一个 j + b j ） ； j ＝ 1 ， … ， p + 1. ∀ j ， 一个 j ＝ P （ γ j ＝ 1 ） ϕ （ 0 ， V j 1 ∗ ） ． ∀ j ， b j ＝ P （ γ j ＝ 0 ） ϕ （ 0 ， V j 2 ∗ ） ． β | σ 2 ， γ ， X ， y ～ N p + 1 （ （ V ∗ − 1 + σ − 2 X ” X ） − 1 X ” Y ， （ V ∗ − 1 + σ − 2 X ” X ） − 1 ） ． σ 2 | β ， γ ， X ， y ～ 我 G （ 一个 + T 2 ， ［ B − 1 + 1 2 （ y − X β ） ” （ y − X β ） ］ − 1 ） ．

      lassoblm

      β j | σ 2 ， λ ～ 拉普拉斯<米row> （ 0 ， σ / λ ） ； j ＝ 0 ， ．． ， p ． σ 2 ～ 我 G （ 一个 ， B ） ．

      系数是独立的，这是一个先验。

      		分析棘手的

      1 ψ j | β j ， σ 2 ， λ ～ InvGaussian<米row> （ σ λ / | β j | ， λ 2 ） ； j ＝ 1 ， … ， p + 1. D ＝ 诊断接头<米row> （ ψ 1 ， … ， ψ p + 1 ） ． β | σ 2 ， λ ， X ， y ， ψ ～ N p + 1 （ （ X ” X + D ） − 1 X ” y ， σ 2 （ X ” X + D ） − 1 ） ． σ 2 | β ， X ， y ， ψ ～ 我 G （ 一个 + T + p + 1 2 ， ［ B − 1 + 1 2 （ y − X β ） ” （ y − X β ） + 1 2 β ” D β ］ − 1 ） ．

      表中: