主要内容gydF4y2Ba

高斯过程回归模型gydF4y2Ba

高斯进程回归（GPR）模型是基于非参数内核的概率模型。您可以使用培训GPR模型gydF4y2BafitrgpgydF4y2Ba函数。gydF4y2Ba

考虑训练集gydF4y2Ba ｛gydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba ygydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ；gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba ．．．gydF4y2Ba ，gydF4y2Ba ngydF4y2Ba ｝gydF4y2Ba ,在那里gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ∈gydF4y2Ba ℝgydF4y2Ba dgydF4y2Ba 和gydF4y2Ba ygydF4y2Ba 我gydF4y2Ba ∈gydF4y2Ba ℝgydF4y2Ba ，从一个未知的分发中得出。GPR模型解决了预测响应变量的值的问题gydF4y2Ba ygydF4y2Ba ngydF4y2Ba egydF4y2Ba wgydF4y2Ba 给定新的输入矢量gydF4y2Ba xgydF4y2Ba ngydF4y2Ba egydF4y2Ba wgydF4y2Ba 和培训数据。线性回归模型是表单gydF4y2Ba

ygydF4y2Ba ＝gydF4y2Ba xgydF4y2Ba TgydF4y2Ba βgydF4y2Ba +gydF4y2Ba ε.gydF4y2Ba ，gydF4y2Ba

在哪里gydF4y2Ba ε.gydF4y2Ba ∼gydF4y2Ba NgydF4y2Ba （gydF4y2Ba 0gydF4y2Ba ，gydF4y2Ba σ.gydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ．错误方差gydF4y2Baσ.gydF4y2Ba2gydF4y2Ba和系数gydF4y2BaβgydF4y2Ba估计数据。GPR模型通过引入潜在变量来解释响应，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba ．．．gydF4y2Ba ，gydF4y2Ba ngydF4y2Ba ，来自高斯过程（GP）和明确的基本函数，gydF4y2BahgydF4y2Ba．潜在变量的协方差函数捕获了响应的平滑性，基本函数投射了输入gydF4y2Ba xgydF4y2Ba 进入A.gydF4y2BapgydF4y2Ba- 专题空间。gydF4y2Ba

GP是一组随机变量，任意有限数量的随机变量都具有联合高斯分布。如果gydF4y2Ba ｛gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ∈gydF4y2Ba ℝgydF4y2Ba dgydF4y2Ba ｝gydF4y2Ba 是一个gp，然后给出gydF4y2BangydF4y2Ba观察gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba ．．．gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ，随机变量的关节分布gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba ．．．gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba 是高斯。GP由其均值函数定义gydF4y2Ba 米gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba 和协方差函数,gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ．那是，如果gydF4y2Ba ｛gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ∈gydF4y2Ba ℝgydF4y2Ba dgydF4y2Ba ｝gydF4y2Ba 是高斯过程吗gydF4y2Ba EgydF4y2Ba （gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 米gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba 和gydF4y2Ba CgydF4y2Ba ogydF4y2Ba vgydF4y2Ba ［gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ］gydF4y2Ba ＝gydF4y2Ba EgydF4y2Ba ［gydF4y2Ba ｛gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba −gydF4y2Ba 米gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ｝gydF4y2Ba ｛gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba −gydF4y2Ba 米gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ｝gydF4y2Ba ］gydF4y2Ba ＝gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba

现在考虑以下模型。gydF4y2Ba

hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba TgydF4y2Ba βgydF4y2Ba +gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba

在哪里gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ～gydF4y2Ba GgydF4y2Ba PgydF4y2Ba （gydF4y2Ba 0gydF4y2Ba ，gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ， 那是gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba)是从零均值GP与协方差函数，gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ．gydF4y2BahgydF4y2Ba（gydF4y2BaxgydF4y2Ba)是一组转换原始特征向量的基函数gydF4y2BaxgydF4y2Ba在RgydF4y2BadgydF4y2Ba进入一个新的特征向量gydF4y2BahgydF4y2Ba（gydF4y2BaxgydF4y2Ba在R中)gydF4y2BapgydF4y2Ba．gydF4y2BaβgydF4y2Ba是一个gydF4y2BapgydF4y2Ba基函数系数的-by-1向量。该模型表示探地雷达模型。响应实例gydF4y2BaygydF4y2Ba可以被建模为gydF4y2Ba

PgydF4y2Ba （gydF4y2Ba ygydF4y2Ba 我gydF4y2Ba |gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ～gydF4y2Ba NgydF4y2Ba （gydF4y2Ba ygydF4y2Ba 我gydF4y2Ba |gydF4y2Ba hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba TgydF4y2Ba βgydF4y2Ba +gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba σ.gydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba

因此，GPR模型是概率模型。有一个潜在的变量gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba我gydF4y2Ba）为每个观察引入gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ，这使得GPR模型非参数。在矢量形式中，该模型相当于gydF4y2Ba

PgydF4y2Ba （gydF4y2Ba ygydF4y2Ba |gydF4y2Ba fgydF4y2Ba ，gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba ～gydF4y2Ba NgydF4y2Ba （gydF4y2Ba ygydF4y2Ba |gydF4y2Ba HgydF4y2Ba βgydF4y2Ba +gydF4y2Ba fgydF4y2Ba ，gydF4y2Ba σ.gydF4y2Ba 2gydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba

在哪里gydF4y2Ba

XgydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba TgydF4y2Ba xgydF4y2Ba 2gydF4y2Ba TgydF4y2Ba ⋮gydF4y2Ba xgydF4y2Ba ngydF4y2Ba TgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba ygydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba ygydF4y2Ba 1gydF4y2Ba ygydF4y2Ba 2gydF4y2Ba ⋮gydF4y2Ba ygydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba HgydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba TgydF4y2Ba ）gydF4y2Ba hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba TgydF4y2Ba ）gydF4y2Ba ⋮gydF4y2Ba hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba TgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ⋮gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba

潜在变量的联合分布gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba ．．．gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba 在GPR模型中为:gydF4y2Ba

PgydF4y2Ba （gydF4y2Ba fgydF4y2Ba |gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba ～gydF4y2Ba NgydF4y2Ba （gydF4y2Ba fgydF4y2Ba |gydF4y2Ba 0gydF4y2Ba ，gydF4y2Ba KgydF4y2Ba （gydF4y2Ba XgydF4y2Ba ，gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba

接近线性回归模型，在哪里gydF4y2Ba KgydF4y2Ba （gydF4y2Ba XgydF4y2Ba ，gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba 看起来如下:gydF4y2Ba

KgydF4y2Ba （gydF4y2Ba XgydF4y2Ba ，gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ⋯gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ⋯gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ⋮gydF4y2Ba ⋮gydF4y2Ba ⋮gydF4y2Ba ⋮gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ⋯gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba

协方差函数gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba 通常由一组核参数或超参数参数化，gydF4y2Ba θ.gydF4y2Ba ．经常gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba 是写作的gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba |gydF4y2Ba θ.gydF4y2Ba ）gydF4y2Ba 明确表示依赖gydF4y2Ba θ.gydF4y2Ba ．gydF4y2Ba

fitrgpgydF4y2Ba估计基础函数系数，gydF4y2Ba βgydF4y2Ba ，噪声方差，gydF4y2Ba σ.gydF4y2Ba 2gydF4y2Ba ，超参数，gydF4y2Ba θ.gydF4y2Ba 的核函数，训练GPR模型。您可以指定基函数、核(协方差)函数和参数的初始值。gydF4y2Ba

因为探地雷达模型是概率的，所以可以使用训练过的模型来计算预测区间(见gydF4y2Ba预测gydF4y2Ba和gydF4y2BaresubPredictgydF4y2Ba)．gydF4y2Ba

你也可以使用训练过的GPR模型来计算回归误差gydF4y2Ba损失gydF4y2Ba和gydF4y2BaresubLossgydF4y2Ba)．gydF4y2Ba

探地雷达模型预测区间比较gydF4y2Ba

打开直播脚本gydF4y2Ba

该示例适合GPR模型到无噪声数据集和嘈杂的数据集。该示例比较了两个适合GPR模型的预测响应和预测间隔。gydF4y2Ba

从函数中生成两个观测数据集gydF4y2Ba ggydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba xgydF4y2Ba ⋅gydF4y2Ba 罪gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba

RNG（gydF4y2Ba'默认'gydF4y2Ba）gydF4y2Ba重复性的％gydF4y2Bax_observed = linspace（0,10,21）';y_observed1 = x_observed。* sin（x_observed）;y_observed2 = y_observed1 + 0.5 * randn（大小（x_observed））;gydF4y2Ba

中的值gydF4y2Bay_observed1.gydF4y2Ba是否无噪声，其中的值gydF4y2BaY_OBSERVED2.gydF4y2Ba包括一些随机噪声。gydF4y2Ba

将GPR模型与观测数据集进行拟合。gydF4y2Ba

gprMdl1 = fitrgp (x_observed y_observed1);gprMdl2 = fitrgp (x_observed y_observed2);gydF4y2Ba

使用拟合模型计算预测响应和95%预测区间。gydF4y2Ba

x = linspace (0, 10) ';[ypred1, ~, yint1] =预测(gprMdl1 x);[ypred2, ~, yint2] =预测(gprMdl2 x);gydF4y2Ba

调整图形的大小以在一个图形中显示两个图形。gydF4y2Ba

无花果=图;fig.Position (3) = fig.Position (3) * 2;gydF4y2Ba

创建一个1乘2的平铺图表布局。gydF4y2Ba

Tiledlayout（1,2，gydF4y2Ba“TileSpacing”gydF4y2Ba，gydF4y2Ba“紧凑”gydF4y2Ba）gydF4y2Ba

对于每个贴图，绘制观测数据点的散点图和函数图gydF4y2Ba xgydF4y2Ba ⋅gydF4y2Ba 罪gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ．然后添加GP预测响应图和预测间隔的补丁。gydF4y2Ba

nexttile举行gydF4y2Ba在gydF4y2Ba散射（X_observed，Y_observed1，gydF4y2Ba“r”gydF4y2Ba）gydF4y2Ba%观测数据点gydF4y2Bafplot（@（x）x。* sin（x），[0,10]，gydF4y2Ba“——r”gydF4y2Ba）gydF4y2Bax * sin（x）的％函数图gydF4y2Ba情节(x, ypred1,gydF4y2Ba‘g’gydF4y2Ba）gydF4y2Ba％GPR预测gydF4y2Ba补丁([x; flipud (x)], [yint1 (: 1); flipud (yint1 (:, 2))),gydF4y2Ba'K'gydF4y2Ba，gydF4y2Ba“FaceAlpha”gydF4y2Ba, 0.1);gydF4y2Ba%的预测区间gydF4y2Ba持有gydF4y2Ba离开gydF4y2Ba标题(gydF4y2Ba“无噪声观测的GPR匹配”gydF4y2Ba） 传奇（{gydF4y2Ba“无噪声的观察”gydF4y2Ba，gydF4y2Ba“g (x) = x * sin (x) 'gydF4y2Ba，gydF4y2Ba'GPR预测'gydF4y2Ba，gydF4y2Ba“95%的预测区间”gydF4y2Ba}，gydF4y2Ba'地点'gydF4y2Ba，gydF4y2Ba“最佳”gydF4y2Ba) nexttile举行gydF4y2Ba在gydF4y2Ba散射（X_Observed，Y_obServed2，gydF4y2Ba“xr”gydF4y2Ba）gydF4y2Ba%观测数据点gydF4y2Bafplot（@（x）x。* sin（x），[0,10]，gydF4y2Ba“——r”gydF4y2Ba）gydF4y2Bax * sin（x）的％函数图gydF4y2Baplot（x，ypred2，gydF4y2Ba‘g’gydF4y2Ba）gydF4y2Ba％GPR预测gydF4y2Ba补丁([x; flipud (x)], [yint2 (: 1); flipud (yint2 (:, 2))),gydF4y2Ba'K'gydF4y2Ba，gydF4y2Ba“FaceAlpha”gydF4y2Ba, 0.1);gydF4y2Ba%的预测区间gydF4y2Ba持有gydF4y2Ba离开gydF4y2Ba标题(gydF4y2Ba“嘈杂观测的GPR匹配”gydF4y2Ba） 传奇（{gydF4y2Ba'嘈杂的观察'gydF4y2Ba，gydF4y2Ba“g (x) = x * sin (x) 'gydF4y2Ba，gydF4y2Ba'GPR预测'gydF4y2Ba，gydF4y2Ba“95%的预测区间”gydF4y2Ba}，gydF4y2Ba'地点'gydF4y2Ba，gydF4y2Ba“最佳”gydF4y2Ba）gydF4y2Ba

图包含2个轴。带有标题GPR的轴1无噪音观测的适合包含4个类型的散射，函数，线，贴片。这些对象代表无噪声观测，g（x）= x * sin（x），gpr预测，95％的预测间隔。轴2具有噪声观测标题GPR拟合，包含4个类型的散射，函数，线，贴片物体。这些对象代表嘈杂的观察，g（x）= x * sin（x），gpr预测，95％的预测间隔。gydF4y2Ba

当观测数据无噪声时，预测的探地雷达响应与观测数据拟合。预测响应的标准差几乎为零。因此，预测区间很窄。当观测值中包含噪声时，预测响应不与观测值交叉，预测间隔变宽。gydF4y2Ba

参考gydF4y2Ba

[1] Rasmussen，C. E.和C.K. I.威廉姆斯。gydF4y2Ba机器学习的高斯过程。gydF4y2Ba麻省理工学院出版社。马萨诸塞州剑桥,2006年。gydF4y2Ba

另请参阅gydF4y2Ba

|gydF4y2Ba|gydF4y2Ba

相关话题gydF4y2Ba

统计和机器学习工具箱文档gydF4y2Ba

万博1manbetx

掌握机器学习:一步一步的指导与MATLABgydF4y2Ba

掌握机器学习:一步一步的指导与MATLABgydF4y2Ba

下载电子书gydF4y2Ba