贝叶斯算法试图最小化的标量目标函数据span class="inlineequation">F据/em>(据em class="varname">X据/em>)据/span>为了据em class="varname">X据/em>在有界域中。该功能可以是确定性的或随机的,这意味着在同一点评估时它可以返回不同的结果据em class="varname">X据/em>.组件的据em class="varname">X据/em>可以是连续的真实,整数或分类,意思是一个离散的名称集。据/p>
笔记据/strong> 在整个讨论中,d代表的组件数量据em class="varname">X据/em>.据/p>
在最小化的关键要素是:据/p>
的高斯过程模型据span class="inlineequation">F据/em>(据em class="varname">X据/em>)据/span>.据/p> 贝叶斯更新程序,用于修改每个新评估的高斯过程模型据span class="inlineequation">F据/em>(据em class="varname">X据/em>)据/span>.据/p> 一个据em class="firstterm">收购功能据/em>一种据/em>(据em class="varname">X据/em>)据/span>(基于高斯过程模型据em class="varname">F据/em>),您最大化,以确定下一个点据em class="varname">X据/em>进行评估。有关详细信息,请参阅据一种href="//www.tianjin-qmedu.com/help/stats/bayesian-optimization-algorithm.html" class="intrnllnk">采集函数类型据/a>和据一种href="//www.tianjin-qmedu.com/help/stats/bayesian-optimization-algorithm.html" class="intrnllnk">采集函数最大化据/a>.据/p> 算法概要:据/p>
评估据span class="inlineequation">y据sub>一世据/sub>=据em class="varname">F据/em>(据em class="varname">X据sub>一世据/sub>)据/span>为了据code class="literal">NumSeedPoints据/code>点据em class="varname">X据sub>一世据/sub>在随机变量范围内作出。据code class="literal">NumSeedPoints据/code>是A.据code class="function">Bayesopt.据/code>环境。如果有计算错误,需要更多的随机点,直到有据code class="literal">NumSeedPoints据/code>成功的评估。每个组件的概率分布是均匀的或记录的,具体取决于据code class="literal">转变据/code>价值据code class="function">优化的不变性据/code>.据/p> 然后重复以下步骤:据/p>
更新高斯过程模型据span class="inlineequation">F据/em>(据em class="varname">X据/em>)据/span>获得函数的后部分布据span class="inlineequation">问:据/em>(据em class="varname">F据/em>|据em class="varname">X据sub>一世据/sub>那据em class="varname">y据sub>一世据/sub>为了据em class="varname">一世据/em>= 1,......,据em class="varname">T.据/em>)据/span>.(在内部,据code class="function">Bayesopt.据/code>使用据一种href="//www.tianjin-qmedu.com/help/stats/fitrgp.html"> 找到新的点据em class="varname">X据/em>最大化采集功能据span class="inlineequation">一种据/em>(据em class="varname">X据/em>)据/span>.据/p> 算法在达到以下任何一项后停止:据/p>
固定次数的迭代(默认为30)。据/p> 固定时间(默认值没有时间限制)。据/p> 停止您提供的标准据一种href="//www.tianjin-qmedu.com/help/stats/bayesian-optimization-output-functions.html" class="a">贝叶斯优化输出函数据/a>或据一种href="//www.tianjin-qmedu.com/help/stats/bayesian-optimization-plot-functions.html" class="a">贝叶斯优化绘图功能据/a>.据/p> 关于并行的算法差异,请参见据一种href="//www.tianjin-qmedu.com/help/stats/parallel_bayesian_optimization.html" class="a">并行贝叶斯算法据/a>.据/p>
fitrgp.据/code>适合数据的高斯流程模型。)据/p>
目标函数的基本概率模型据em class="varname">F据/em>是事先与在观测加入高斯噪声的高斯过程。因此,对先验分布据span class="inlineequation">F据/em>(据em class="varname">X据/em>)据/span>是一个平均值的高斯过程据span class="inlineequation">μ.据/em>(据em class="varname">X据/em>;据em class="varname">θ.据/em>)据/span>和协方差内核功能据span class="inlineequation">K.据/em>(据em class="varname">X据/em>那据em class="varname">X'据/em>;据em class="varname">θ.据/em>)据/span>.这里,据em class="varname">θ.据/em>是内核参数的矢量。对于特定的内核函数据code class="function">Bayesopt.据/code>用途,参见据一种href="//www.tianjin-qmedu.com/help/stats/bayesian-optimization-algorithm.html" class="intrnllnk">核函数据/a>.据/p>
在稍微详细地表示的一组点的据span class="inlineequation">X据/em>=据em class="varname">X据sub>一世据/sub>具有关联的客观函数值据span class="inlineequation">F据/em>=据em class="varname">F据sub>一世据/sub>.函数值的现有的联合分布据em class="varname">F据/em>是多元正态分布,均值为据em class="varname">μ.据/em>(据em class="varname">X据/em>)和协方差矩阵据em class="varname">K.据/em>(据em class="varname">X据/em>那据em class="varname">X据/em>), 在哪里据span class="inlineequation">K.据sub>IJ.据/sub>=据em class="varname">K.据/em>(据em class="varname">X据sub>一世据/sub> 不损失一般性,先前的平均值据code class="literal">0.据/code>.据/p>
此外,假设观察结果增加了具有方差的高斯噪声据em class="varname">σ.据/em>2据/sup>.先验分布有协方差据span class="inlineequation">K.据/em>(据em class="varname">X据/em>那据em class="varname">X据/em>;据em class="varname">θ.据/em>)+据em class="varname">σ.据/em>2据/sup>一世据/em>.据/p>
拟合高斯过程回归模型来观测由用于噪声方差发现值据em class="varname">σ.据/em>2据/sup>和内核参数据em class="varname">θ.据/em>.这件是执行计算密集型过程据一种href="//www.tianjin-qmedu.com/help/stats/fitrgp.html"> 有关拟合高斯过程来观察细节,请参见据一种href="//www.tianjin-qmedu.com/help/stats/gaussian-process-regression.html" class="a">高斯过程回归据/a>.据/p>
内核函数据span class="inlineequation">K.据/em>(据em class="varname">X据/em>那据em class="varname">X'据/em>;据em class="varname">θ.据/em>)据/span>可以显著影响高斯过程回归的质量。据code class="function">Bayesopt.据/code>使用中定义的ARD Matérn 5/2内核据一种href="//www.tianjin-qmedu.com/help/stats/kernel-covariance-function-options.html" class="a">内核(协方差)功能选项据/a>.据/p>
查看snoek,larochelle和亚当斯据一种href="//www.tianjin-qmedu.com/help/stats/bayesian-optimization-algorithm.html" class="intrnllnk">[3]据/a>.据/p>
fitrgp.据/code>.据/p>
核函数据/h4>
可提供六种采集功能选择据code class="function">Bayesopt.据/code>.有三种基本类型,具有据code class="literal">预期改进据/code>还通过修改据code class="literal">每秒据/code>或据code class="literal">加据/code>:据/p>
“expected-improvement-per-second-plus”据/code>(默认)据/p>
“expected-improvement”据/code>
'预期改善加'据/code>
'预期 - 每秒改善'据/code>
“较低的信任”据/code>
'改善概率'据/code>
此次收购功能评价点的“善”据em class="varname">X据/em>基于所述后验分布函数据em class="varname">问:据/em>.当有耦合约束时,包括错误约束(请参阅据一种href="//www.tianjin-qmedu.com/help/stats/bayesian-optimization-objective-functions.html" class="a">目标函数错误据/a>),所有收购函数在Gelbart,Snoek和Adams的建议之后修改他们对“善良”的估计据一种href="//www.tianjin-qmedu.com/help/stats/bayesian-optimization-algorithm.html" class="intrnllnk">[2]据/a>.乘“善”由约束条件满足的概率的估计值在采集功能到达。据/p>
这据code class="literal">“expected-improvement”据/code>家庭收购职能评估目标函数的预期改善量,忽略导致目标增加的值。换句话说,定义据/p>
X据/em>最好的事物据/sub>作为最低后均值的位置。据/p>
μ.据sub>问:据/sub>(据em class="varname">X据/em>最好的事物据/sub>)据/span>作为后验均值的最低值。据/p>
那么预期改善据/p>
这据code class="literal">'改善概率'据/code>采集功能进行了类似的,但更简单,计算为据code class="literal">“expected-improvement”据/code>.在这两种情况下,据code class="function">Bayesopt.据/code>首先计算据em class="varname">X据/em>最好的事物据/sub>和据span class="inlineequation">μ.据sub>问:据/sub>(据em class="varname">X据/em>最好的事物据/sub>)据/span>.然后是据code class="literal">'改善概率'据/code>那据code class="function">Bayesopt.据/code>计算概率据em class="varname">π据/em>这是一个新的点据em class="varname">X据/em>导致一个更好的目标函数值,通过“保证金”参数修改据em class="varname">m据/em>:据/p>
在哪里据/p>
这里据span class="inlineequation">Φ(·)据/span>是单位正常CDF,并据em class="varname">σ.据sub>问:据/sub>是高斯过程的后标偏差据em class="varname">X据/em>.据/p>
Bayesopt.据/code>需要据em class="varname">m据/em>如所估计的噪声标准偏差。据code class="function">Bayesopt.据/code>计算这个概率为据/p>
这据code class="literal">“较低的信任”据/code>采集功能着眼于曲线据em class="varname">G据/em>两个标准差以下各点的后验均值:据/p>
G据/em>(据em class="varname">X据/em>)是2据em class="varname">σ.据sub>问:据/sub>目标函数模型的低置信包络线。据code class="function">Bayesopt.据/code>然后最大化负面的据em class="varname">G据/em>:据/p>
有时,评估目标函数的时间可以取决于该区域。例如,许多支持向量机器计算在时机在某万博1manbetx些点范围内的良好交易时变化。如果是这样的话,据code class="function">Bayesopt.据/code>通过使用收购功能中的时间加权可以获得每秒更好的改进。成本加权获取函数具有短语据code class="literal">每秒据/code>在他们的名字。据/p>
这些采集功能如下工作。在目标函数的评估,据code class="function">Bayesopt.据/code>保持另一个目标函数评价时间作为位置函数的贝叶斯模型据em class="varname">X据/em>.每秒的预期改善的采集功能采用的是据/p>
在哪里据em class="varname">μ.据sub>S.据/sub>(据em class="varname">X据/em>)为时序高斯过程模型的后验均值。据/p>
要逃避本地目标函数,采集功能据code class="literal">加据/code>在他们的名字中,当他们估计他们是时,他们的行为会修改他们的行为据em class="firstterm">过度开发据/em>一个地区。了解过度开放,让据em class="varname">σ.据sub>F据/sub>(据em class="varname">X据/em>)是后部物镜函数的标准偏差据em class="varname">X据/em>.让据em class="varname">σ.据/em>是添加剂噪声的后标偏差,所以据/p>
σ.据sub>问:据/sub>2据/sup>(据em class="varname">X据/em>)=据em class="varname">σ.据sub>F据/sub>2据/sup>(据em class="varname">X据/em>)+据em class="varname">σ.据/em>2据/sup>.据/p>
定义据em class="varname">T.据sub>σ.据/sub>成为价值据code class="literal">ExplorationRatio据/code>选项,一个正数。这据code class="function">Bayesopt.据/code> σ.据sub>F据/sub>(据em class="varname">X据/em>)<据em class="varname">T.据sub>σ.据/sub>σ.据/em>.据/p>
如果是这样,该算法声明据em class="varname">X据/em>是过度开发。然后采集功能修改其据一种href="//www.tianjin-qmedu.com/help/stats/bayesian-optimization-algorithm.html" class="intrnllnk">核函数据/a>乘以据em class="varname">θ.据/em>由迭代的数量,正如公牛所建议的那样据一种href="//www.tianjin-qmedu.com/help/stats/bayesian-optimization-algorithm.html" class="intrnllnk">[1]据/a>.此修改提高了方差据em class="varname">σ.据sub>问:据/sub>在观测之间分。然后生成基于新的拟合的内核函数一个新的起点。如果新点据em class="varname">X据/em>再次过度开采,收购功能倍增据em class="varname">θ.据/em>通过再次的10和尝试一个附加因素。它继续以这种方式多达五次,试图产生一个点据em class="varname">X据/em>未过度开发。该算法接受新据em class="varname">X据/em>作为下一点。据/p>
加据/code>获取函数,在每次迭代后,评估下一个点是否据em class="varname">X据/em>满足据/p>
ExplorationRatio据/code>因此控制探索新的点更好的全球性解决方案,对集中已经被检查近点之间的权衡。据/p>
在内部,据code class="function">Bayesopt.据/code>最大化利用以下一般步骤的获取功能:据/p>
对于从中开始的算法据code class="literal">“expected-improvement”据/code>而对于据code class="literal">'改善概率'据/code>那据code class="function">Bayesopt.据/code>估计后部分布的最小可行性平均值据span class="inlineequation">μ.据sub>问:据/sub>(据em class="varname">X据/em>最好的事物据/sub>)据/span>通过在可变范围内对数千个点进行采样,选取几个最佳(低均值)可行点,并利用局部搜索对其进行改进,得到表面最优可行点。可行意味着点满足约束条件(见据一种href="//www.tianjin-qmedu.com/help/stats/constraints-in-bayesian-optimization.html" class="a">贝叶斯优化中的约束条件据/a>)。据/p>
对于所有算法,据code class="function">Bayesopt.据/code>在可变界限内示例数千点,需要几个最佳(高采集功能)可行点,并使用本地搜索改善它们,以查找过硬的最佳可行点。采集函数值取决于所建模的后部分布,而不是目标函数的样本,因此可以快速计算。据/p>
[1]公牛,A。D.据em class="citetitle">高效的全局优化算法的收敛速度据/em>.据一种href="https://arxiv.org/abs/1101.3501v3" target="_blank">https://arxiv.org/abs/1101.3501v3据/a>,2011年。据/p>
[2] Gelbart的,M.,J.斯诺克,R. P.亚当斯。据em class="citetitle">贝叶斯优化与未知约束据/em>.据一种href="https://arxiv.org/abs/1403.5607" target="_blank">https://arxiv.org/abs/1403.5607据/a>,2014年。据/p>
[3]斯诺克,J.,H.拉罗歇尔,R. P.亚当斯。据em class="citetitle">实用贝叶斯优化机器学习算法的据/em>.据一种href="https://arxiv.org/abs/1206.2944" target="_blank">https://arxiv.org/abs/1206.2944据/a>,2012年。据/p>
BayesianOptimization据/code>
|据span itemscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">Bayesopt.据/code>