高斯过程回归模型- MATLAB和Simulink MathWorks印度万博1manbetxgydF4y2Ba

高斯过程回归模型gydF4y2Ba

高斯过程回归(GPR)模型是基于非参数的概率模型。你可以训练使用探地雷达模型gydF4y2BafitrgpgydF4y2Ba函数。gydF4y2Ba

考虑到训练集gydF4y2Ba ${gydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba},gydF4y2Ba {ygydF4y2Ba}_{我gydF4y2Ba})gydF4y2Ba;gydF4y2Ba 我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba,gydF4y2Ba 2gydF4y2Ba,gydF4y2Ba …gydF4y2Ba,gydF4y2Ba ngydF4y2Ba}gydF4y2Ba$ ,在那里gydF4y2Ba ${xgydF4y2Ba}_{我gydF4y2Ba} \ingydF4y2Ba {ℝgydF4y2Ba}^{dgydF4y2Ba}$ 和gydF4y2Ba ${ygydF4y2Ba}_{我gydF4y2Ba} \ingydF4y2Ba ℝgydF4y2Ba$ 来自未知分布。探地雷达模型解决的问题预测响应变量的值gydF4y2Ba ${ygydF4y2Ba}_{ngydF4y2Ba egydF4y2Ba wgydF4y2Ba}$ ,考虑到新的输入向量gydF4y2Ba ${xgydF4y2Ba}_{ngydF4y2Ba egydF4y2Ba wgydF4y2Ba}$ 和训练数据。线性回归模型的形式gydF4y2Ba

$ygydF4y2Ba =gydF4y2Ba {xgydF4y2Ba}^{TgydF4y2Ba} βgydF4y2Ba +gydF4y2Ba εgydF4y2Ba,gydF4y2Ba$

在哪里gydF4y2Ba $εgydF4y2Ba \simgydF4y2Ba NgydF4y2Ba (gydF4y2Ba 0gydF4y2Ba,gydF4y2Ba {σgydF4y2Ba}^{2gydF4y2Ba})gydF4y2Ba$ 。误差方差gydF4y2BaσgydF4y2Ba^2gydF4y2Ba和系数gydF4y2BaβgydF4y2Ba估计的数据。探地雷达模型解释了反应通过引入潜在的变量,gydF4y2Ba $fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba})gydF4y2Ba,gydF4y2Ba 我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba,gydF4y2Ba 2gydF4y2Ba,gydF4y2Ba …gydF4y2Ba,gydF4y2Ba ngydF4y2Ba$ ,从一个高斯过程(GP)和明确的基函数,gydF4y2BahgydF4y2Ba。潜变量的协方差函数捕获响应的平滑度和基础功能项目的输入gydF4y2Ba $xgydF4y2Ba$ 成一个gydF4y2BapgydF4y2Ba维特征空间。gydF4y2Ba

GP是一组随机变量,这样,任何有限数量的联合高斯分布。如果gydF4y2Ba ${gydF4y2Ba fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba,gydF4y2Ba xgydF4y2Ba \ingydF4y2Ba {ℝgydF4y2Ba}^{dgydF4y2Ba}}gydF4y2Ba$ 是一个医生,然后给出gydF4y2BangydF4y2Ba观察gydF4y2Ba ${xgydF4y2Ba}_{1gydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{2gydF4y2Ba},gydF4y2Ba …gydF4y2Ba,gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba}$ 随机变量的联合分布gydF4y2Ba $fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{1gydF4y2Ba})gydF4y2Ba,gydF4y2Ba fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{2gydF4y2Ba})gydF4y2Ba,gydF4y2Ba …gydF4y2Ba,gydF4y2Ba fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba})gydF4y2Ba$ 是高斯。医生被定义为其均值函数gydF4y2Ba $米gydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba$ 和协方差函数,gydF4y2Ba $kgydF4y2Ba (gydF4y2Ba xgydF4y2Ba,gydF4y2Ba {xgydF4y2Ba}^{'gydF4y2Ba})gydF4y2Ba$ 。也就是说,如果gydF4y2Ba ${gydF4y2Ba fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba,gydF4y2Ba xgydF4y2Ba \ingydF4y2Ba {ℝgydF4y2Ba}^{dgydF4y2Ba}}gydF4y2Ba$ 是一个高斯过程呢gydF4y2Ba $EgydF4y2Ba (gydF4y2Ba fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba)gydF4y2Ba =gydF4y2Ba 米gydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba$ 和gydF4y2Ba $CgydF4y2Ba ogydF4y2Ba vgydF4y2Ba (gydF4y2Ba fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba,gydF4y2Ba fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}^{'gydF4y2Ba})gydF4y2Ba]gydF4y2Ba =gydF4y2Ba EgydF4y2Ba (gydF4y2Ba {gydF4y2Ba fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba -gydF4y2Ba 米gydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba}gydF4y2Ba {gydF4y2Ba fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}^{'gydF4y2Ba})gydF4y2Ba -gydF4y2Ba 米gydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}^{'gydF4y2Ba})gydF4y2Ba}gydF4y2Ba]gydF4y2Ba =gydF4y2Ba kgydF4y2Ba (gydF4y2Ba xgydF4y2Ba,gydF4y2Ba {xgydF4y2Ba}^{'gydF4y2Ba})gydF4y2Ba 。gydF4y2Ba$

现在考虑下面的模型。gydF4y2Ba

$hgydF4y2Ba {(gydF4y2Ba xgydF4y2Ba)gydF4y2Ba}^{TgydF4y2Ba} βgydF4y2Ba +gydF4y2Ba fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba,gydF4y2Ba$

在哪里gydF4y2Ba $fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba ~gydF4y2Ba GgydF4y2Ba PgydF4y2Ba (gydF4y2Ba 0gydF4y2Ba,gydF4y2Ba kgydF4y2Ba (gydF4y2Ba xgydF4y2Ba,gydF4y2Ba {xgydF4y2Ba}^{'gydF4y2Ba})gydF4y2Ba)gydF4y2Ba$ ,这是gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba)从一个零均值的全科医生与协方差函数,gydF4y2Ba $kgydF4y2Ba (gydF4y2Ba xgydF4y2Ba,gydF4y2Ba {xgydF4y2Ba}^{'gydF4y2Ba})gydF4y2Ba$ 。gydF4y2BahgydF4y2Ba(gydF4y2BaxgydF4y2Ba)是一组基函数变换原始特征向量gydF4y2BaxgydF4y2Ba在RgydF4y2Ba^dgydF4y2Ba到一个新的特征向量gydF4y2BahgydF4y2Ba(gydF4y2BaxgydF4y2Ba在R中)gydF4y2Ba^pgydF4y2Ba。gydF4y2BaβgydF4y2Ba是一个gydF4y2BapgydF4y2Ba1矢量基函数的系数。这个模型代表了探地雷达模型。响应的实例gydF4y2BaygydF4y2Ba可以建模为gydF4y2Ba

$PgydF4y2Ba (gydF4y2Ba {ygydF4y2Ba}_{我gydF4y2Ba} |gydF4y2Ba fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba})gydF4y2Ba,gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba})gydF4y2Ba ~gydF4y2Ba NgydF4y2Ba (gydF4y2Ba {ygydF4y2Ba}_{我gydF4y2Ba} |gydF4y2Ba hgydF4y2Ba {(gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba})gydF4y2Ba}^{TgydF4y2Ba} βgydF4y2Ba +gydF4y2Ba fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba})gydF4y2Ba,gydF4y2Ba {σgydF4y2Ba}^{2gydF4y2Ba})gydF4y2Ba$

因此,探地雷达模型是概率模型。有一个潜变量gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba_我gydF4y2Ba每个观测)介绍gydF4y2Ba ${xgydF4y2Ba}_{我gydF4y2Ba}$ ,使探地雷达模型非参数。用向量形式,这个模型是等价的gydF4y2Ba

$PgydF4y2Ba (gydF4y2Ba ygydF4y2Ba |gydF4y2Ba fgydF4y2Ba,gydF4y2Ba XgydF4y2Ba)gydF4y2Ba ~gydF4y2Ba NgydF4y2Ba (gydF4y2Ba ygydF4y2Ba |gydF4y2Ba HgydF4y2Ba βgydF4y2Ba +gydF4y2Ba fgydF4y2Ba,gydF4y2Ba {σgydF4y2Ba}^{2gydF4y2Ba} 我gydF4y2Ba)gydF4y2Ba,gydF4y2Ba$

在哪里gydF4y2Ba

$XgydF4y2Ba =gydF4y2Ba (gydF4y2Ba \begin{matrix} {xgydF4y2Ba}_{1gydF4y2Ba}^{TgydF4y2Ba} \\ {xgydF4y2Ba}_{2gydF4y2Ba}^{TgydF4y2Ba} \\ ⋮gydF4y2Ba \\ {xgydF4y2Ba}_{ngydF4y2Ba}^{TgydF4y2Ba} \end{matrix})gydF4y2Ba,gydF4y2Ba ygydF4y2Ba =gydF4y2Ba (gydF4y2Ba \begin{matrix} {ygydF4y2Ba}_{1gydF4y2Ba} \\ {ygydF4y2Ba}_{2gydF4y2Ba} \\ ⋮gydF4y2Ba \\ {ygydF4y2Ba}_{ngydF4y2Ba} \end{matrix})gydF4y2Ba,gydF4y2Ba HgydF4y2Ba =gydF4y2Ba (gydF4y2Ba \begin{matrix} hgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{1gydF4y2Ba}^{TgydF4y2Ba})gydF4y2Ba \\ hgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{2gydF4y2Ba}^{TgydF4y2Ba})gydF4y2Ba \\ ⋮gydF4y2Ba \\ hgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba}^{TgydF4y2Ba})gydF4y2Ba \end{matrix})gydF4y2Ba,gydF4y2Ba fgydF4y2Ba =gydF4y2Ba (gydF4y2Ba \begin{matrix} fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{1gydF4y2Ba})gydF4y2Ba \\ fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{2gydF4y2Ba})gydF4y2Ba \\ ⋮gydF4y2Ba \\ fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba})gydF4y2Ba \end{matrix})gydF4y2Ba 。gydF4y2Ba$

潜变量的联合分布gydF4y2Ba $fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{1gydF4y2Ba})gydF4y2Ba,gydF4y2Ba fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{2gydF4y2Ba})gydF4y2Ba,gydF4y2Ba …gydF4y2Ba,gydF4y2Ba fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba})gydF4y2Ba$ 探地雷达模型如下:gydF4y2Ba

$PgydF4y2Ba (gydF4y2Ba fgydF4y2Ba |gydF4y2Ba XgydF4y2Ba)gydF4y2Ba ~gydF4y2Ba NgydF4y2Ba (gydF4y2Ba fgydF4y2Ba |gydF4y2Ba 0gydF4y2Ba,gydF4y2Ba KgydF4y2Ba (gydF4y2Ba XgydF4y2Ba,gydF4y2Ba XgydF4y2Ba)gydF4y2Ba)gydF4y2Ba,gydF4y2Ba$

接近线性回归模型,gydF4y2Ba $KgydF4y2Ba (gydF4y2Ba XgydF4y2Ba,gydF4y2Ba XgydF4y2Ba)gydF4y2Ba$ 看起来如下:gydF4y2Ba

$KgydF4y2Ba (gydF4y2Ba XgydF4y2Ba,gydF4y2Ba XgydF4y2Ba)gydF4y2Ba =gydF4y2Ba (gydF4y2Ba \begin{matrix} kgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{1gydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{1gydF4y2Ba})gydF4y2Ba & kgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{1gydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{2gydF4y2Ba})gydF4y2Ba & \dotsgydF4y2Ba & kgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{1gydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba})gydF4y2Ba \\ kgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{2gydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{1gydF4y2Ba})gydF4y2Ba & kgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{2gydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{2gydF4y2Ba})gydF4y2Ba & \dotsgydF4y2Ba & kgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{2gydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba})gydF4y2Ba \\ ⋮gydF4y2Ba & ⋮gydF4y2Ba & ⋮gydF4y2Ba & ⋮gydF4y2Ba \\ kgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{1gydF4y2Ba})gydF4y2Ba & kgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{2gydF4y2Ba})gydF4y2Ba & \dotsgydF4y2Ba & kgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba})gydF4y2Ba \end{matrix})gydF4y2Ba 。gydF4y2Ba$

协方差函数gydF4y2Ba $kgydF4y2Ba (gydF4y2Ba xgydF4y2Ba,gydF4y2Ba {xgydF4y2Ba}^{'gydF4y2Ba})gydF4y2Ba$ 通常是由一组内核参数或参数化hyperparameters,gydF4y2Ba $θgydF4y2Ba$ 。经常gydF4y2Ba $kgydF4y2Ba (gydF4y2Ba xgydF4y2Ba,gydF4y2Ba {xgydF4y2Ba}^{'gydF4y2Ba})gydF4y2Ba$ 被编写为gydF4y2Ba $kgydF4y2Ba (gydF4y2Ba xgydF4y2Ba,gydF4y2Ba {xgydF4y2Ba}^{'gydF4y2Ba} |gydF4y2Ba θgydF4y2Ba)gydF4y2Ba$ 来显式地指示依赖gydF4y2Ba $θgydF4y2Ba$ 。gydF4y2Ba

fitrgpgydF4y2Ba估计,基函数的系数,gydF4y2Ba $βgydF4y2Ba$ 噪声方差,gydF4y2Ba ${σgydF4y2Ba}^{2gydF4y2Ba}$ ,hyperparametersgydF4y2Ba $θgydF4y2Ba$ 的内核函数从探地雷达在训练的数据模型。您可以指定的基函数,内核协方差()函数,参数和初始值。gydF4y2Ba

由于探地雷达概率模型,可以计算出预测间隔使用训练模型(见gydF4y2Ba预测gydF4y2Ba和gydF4y2BaresubPredictgydF4y2Ba)。gydF4y2Ba

你也可以计算出回归错误使用训练有素的探地雷达模型(见gydF4y2Ba损失gydF4y2Ba和gydF4y2BaresubLossgydF4y2Ba)。gydF4y2Ba

比较预测区间的探地雷达模型gydF4y2Ba

打开生活的脚本gydF4y2Ba

这个例子适合GPR模型无噪声的数据集和嘈杂的数据集。这个例子比较了预测反应和预测时间间隔的两个安装GPR模型。gydF4y2Ba

从函数生成两个观测数据集gydF4y2Ba $ggydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba =gydF4y2Ba xgydF4y2Ba \cdotgydF4y2Ba 罪gydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba$ 。gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba)gydF4y2Ba%的再现性gydF4y2Bax_observed = linspace(0, 10日,21)';y_observed1 = x_observed。* sin (x_observed);y_observed2 = y_observed1 + 0.5 * randn(大小(x_observed));gydF4y2Ba

中的值gydF4y2Bay_observed1gydF4y2Ba噪音有空,的值gydF4y2Bay_observed2gydF4y2Ba包括一些随机噪声。gydF4y2Ba

探地雷达模型来观察到的数据集。gydF4y2Ba

gprMdl1 = fitrgp (x_observed y_observed1);gprMdl2 = fitrgp (x_observed y_observed2);gydF4y2Ba

计算预测反应,95%的人预测间隔使用拟合模型。gydF4y2Ba

x = linspace (0, 10) ';[ypred1, ~, yint1] =预测(gprMdl1 x);[ypred2, ~, yint2] =预测(gprMdl2 x);gydF4y2Ba

调整一个图来显示两个情节在一个图。gydF4y2Ba

无花果=图;fig.Position (3) = fig.Position (3) * 2;gydF4y2Ba

创建一个1×2瓦图布局。gydF4y2Ba

tiledlayout (1、2、gydF4y2Ba“TileSpacing”gydF4y2Ba,gydF4y2Ba“紧凑”gydF4y2Ba)gydF4y2Ba

对于每个瓷砖,画一个散点图的观测数据点和一个函数块gydF4y2Ba $xgydF4y2Ba \cdotgydF4y2Ba 罪gydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba$ 。然后添加一块GP预测反应和预测间隔的补丁。gydF4y2Ba

nexttile举行gydF4y2Ba在gydF4y2Ba散射(x_observed y_observed1,gydF4y2Ba“r”gydF4y2Ba)gydF4y2Ba%观测数据点gydF4y2Bafplot (@ x (x)。* sin (x) [0, 10],gydF4y2Ba“——r”gydF4y2Ba)gydF4y2Ba% x的函数* sin (x)gydF4y2Ba情节(x, ypred1,gydF4y2Ba‘g’gydF4y2Ba)gydF4y2Ba% GPR预测gydF4y2Ba补丁([x; flipud (x)], [yint1 (: 1); flipud (yint1 (:, 2))),gydF4y2Ba“k”gydF4y2Ba,gydF4y2Ba“FaceAlpha”gydF4y2Ba,0.1);gydF4y2Ba%的预测区间gydF4y2Ba持有gydF4y2Ba从gydF4y2Ba标题(gydF4y2Ba“无噪声的观测的探地雷达健康”gydF4y2Ba)({传奇gydF4y2Ba“无噪声的观察”gydF4y2Ba,gydF4y2Ba“g (x) = x * sin (x) 'gydF4y2Ba,gydF4y2Ba“探地雷达预测”gydF4y2Ba,gydF4y2Ba“95%的预测区间”gydF4y2Ba},gydF4y2Ba“位置”gydF4y2Ba,gydF4y2Ba“最佳”gydF4y2Ba)nexttile举行gydF4y2Ba在gydF4y2Ba散射(x_observed y_observed2,gydF4y2Ba“xr”gydF4y2Ba)gydF4y2Ba%观测数据点gydF4y2Bafplot (@ x (x)。* sin (x) [0, 10],gydF4y2Ba“——r”gydF4y2Ba)gydF4y2Ba% x的函数* sin (x)gydF4y2Ba情节(x, ypred2,gydF4y2Ba‘g’gydF4y2Ba)gydF4y2Ba% GPR预测gydF4y2Ba补丁([x; flipud (x)], [yint2 (: 1); flipud (yint2 (:, 2))),gydF4y2Ba“k”gydF4y2Ba,gydF4y2Ba“FaceAlpha”gydF4y2Ba,0.1);gydF4y2Ba%的预测区间gydF4y2Ba持有gydF4y2Ba从gydF4y2Ba标题(gydF4y2Ba“探地雷达的嘈杂的观察”gydF4y2Ba)({传奇gydF4y2Ba“嘈杂的观察”gydF4y2Ba,gydF4y2Ba“g (x) = x * sin (x) 'gydF4y2Ba,gydF4y2Ba“探地雷达预测”gydF4y2Ba,gydF4y2Ba“95%的预测区间”gydF4y2Ba},gydF4y2Ba“位置”gydF4y2Ba,gydF4y2Ba“最佳”gydF4y2Ba)gydF4y2Ba

图包含2轴对象。坐标轴对象1标题探地雷达的无噪声的观测数据包含4类型的对象分散,functionline,线,补丁。这些对象代表无噪声的观测,g (x) = x * sin (x),探地雷达的预测,预测区间的95%。坐标轴对象2标题探地雷达的嘈杂的观察包含4类型的对象分散,functionline,线,补丁。这些对象代表嘈杂的观察,g (x) = x * sin (x),探地雷达的预测,预测区间的95%。gydF4y2Ba

观测噪声有空时,预测反应的探地雷达适合观测。的标准差预测响应几乎为零。因此,预测时间间隔非常窄。观察包括噪声时,预测反应不交叉的观察,和预测间隔变得广泛。gydF4y2Ba

引用gydF4y2Ba

Rasmussen [1], c, e和c k。威廉姆斯。gydF4y2Ba高斯过程机器学习。gydF4y2Ba麻省理工学院出版社。马萨诸塞州剑桥,2006年。gydF4y2Ba

另请参阅gydF4y2Ba

fitrgpgydF4y2Ba|gydF4y2BaRegressionGPgydF4y2Ba|gydF4y2Ba预测gydF4y2Ba

高斯过程回归模型gydF4y2Ba

比较预测区间的探地雷达模型gydF4y2Ba

引用gydF4y2Ba

另请参阅gydF4y2Ba

相关的话题gydF4y2Ba