一阶Optimaly测量 - Matlab＆Simulink万博1manbetxGydF4y2Ba - 万博1manbetx,s manbetx 845,万博尤文图斯

一阶最优性测量GydF4y2Ba

什么是一阶优化措施？GydF4y2Ba

一流的最优性是一种近距离的衡量标准GydF4y2BaXGydF4y2Ba是最优的。大多数最优化工具箱™求解器都使用这个度量，尽管它对不同的算法有不同的定义。一阶最优性是一个必要条件，但不是充分条件。换句话说:GydF4y2Ba

一阶最优测度在最小值处必须为零。GydF4y2Ba
具有等于零的一级最优性的点不一定是最小的。GydF4y2Ba

有关一阶最优性的一般信息，请参阅Nocedal和WrightGydF4y2Ba[31]GydF4y2Ba．有关最优化工具箱求解器的一阶优化度量的详细信息，请参见GydF4y2Ba无约束最优GydF4y2Ba那GydF4y2Ba受限的最优理论GydF4y2Ba,GydF4y2Ba求解器形式的受限最优性GydF4y2Ba．GydF4y2Ba

停止与一阶最优性相关的规则GydF4y2Ba

这GydF4y2Ba最优法GydF4y2Ba耐受性涉及一阶的最优性措施。通常，如果一阶的最优性度量小于GydF4y2Ba最优法GydF4y2Ba，求解器迭代结束。GydF4y2Ba

一些求解器或算法使用GydF4y2Ba相对的GydF4y2Ba一流的最优性作为停止标准。如果一阶的最优性测量小于，则求解器迭代结束GydF4y2BaμGydF4y2Ba次GydF4y2Ba最优法GydF4y2Ba，在哪里GydF4y2BaμGydF4y2Ba或者是：GydF4y2Ba

目标函数的梯度的无穷范数(极大值)GydF4y2BaX0.GydF4y2Ba
对求解器的输入的无限常量（最大值），例如GydF4y2BaFGydF4y2Ba或GydF4y2BaB.GydF4y2Ba在GydF4y2BalinprogGydF4y2Ba或GydF4y2BaHGydF4y2Ba在GydF4y2BaquadprogGydF4y2Ba

相对措施试图考虑问题的规模。将客观函数乘以非常大或少数不会改变相对停止标准的停止条件，但确实将其改为未划分的条件。GydF4y2Ba

求助于GydF4y2Ba增强退出消息GydF4y2Ba状态，在停止准则细节中，当它们使用相对一阶最优时。GydF4y2Ba

无约束最优GydF4y2Ba

对于一个顺利的无约束问题，GydF4y2Ba

$\underset{XGydF4y2Ba}{闵GydF4y2Ba} FGydF4y2Ba （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba 那GydF4y2Ba$

一阶的最优测量是无限常态（意味着最大绝对值）GydF4y2Ba∇GydF4y2BaFGydF4y2Ba（GydF4y2BaXGydF4y2Ba）GydF4y2Ba，这是：GydF4y2Ba

$一阶最优度措施=GydF4y2Ba \underset{一世GydF4y2Ba}{最大限度GydF4y2Ba} |GydF4y2Ba {（GydF4y2Ba \nablaGydF4y2Ba FGydF4y2Ba （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba ）GydF4y2Ba}_{一世GydF4y2Ba} |GydF4y2Ba =GydF4y2Ba {‖GydF4y2Ba \nablaGydF4y2Ba FGydF4y2Ba （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba ‖GydF4y2Ba}_{∞GydF4y2Ba} ．GydF4y2Ba$

最优性的度量是基于平滑函数达到最小值的熟悉条件:它的梯度必须为零。对于无约束问题，当一阶最优测度接近零时，目标函数的梯度接近零，因此目标函数可以接近最小值。如果一阶最优测度不小，则目标函数不极小。GydF4y2Ba

受限的最优理论GydF4y2Ba

本节总结了约束问题的一阶最优测度定义背后的理论。在最优化工具箱函数中使用的定义在GydF4y2Ba求解器形式的受限最优性GydF4y2Ba．GydF4y2Ba

对于平滑约束的问题，让GydF4y2BaGGydF4y2Ba和GydF4y2BaHGydF4y2Ba是表示所有不等式和平等约束的矢量函数（意义绑定，线性和非线性约束）：GydF4y2Ba

$\underset{XGydF4y2Ba}{闵GydF4y2Ba} FGydF4y2Ba （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba 受到约束GydF4y2Ba GGydF4y2Ba （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba \leq.GydF4y2Ba 0.GydF4y2Ba 那GydF4y2Ba HGydF4y2Ba （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba =GydF4y2Ba 0.GydF4y2Ba$

在这种情况下，在这种情况下，一流的最优性的含义比无拘无束的问题更复杂。定义是基于GydF4y2Ba Karush-Kuhn-Tucker(马)条件。KKT条件类似于梯度必须在最小值为零的条件，考虑到约束条件进行了修改。不同之处在于KKT条件对于约束问题是成立的。GydF4y2Ba

KKT条件使用辅助GydF4y2Ba拉格朗日功能：GydF4y2Ba

L.GydF4y2Ba （GydF4y2Ba XGydF4y2Ba 那GydF4y2Ba λGydF4y2Ba ）GydF4y2Ba =GydF4y2Ba FGydF4y2Ba （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba +GydF4y2Ba σ.GydF4y2Ba {λGydF4y2Ba}_{GGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba} {GGydF4y2Ba}_{一世GydF4y2Ba} （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba +GydF4y2Ba σ.GydF4y2Ba {λGydF4y2Ba}_{HGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba} {HGydF4y2Ba}_{一世GydF4y2Ba} （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba ．GydF4y2Ba

（1）GydF4y2Ba

矢量GydF4y2BaλGydF4y2Ba，这是串联GydF4y2BaλGydF4y2Ba_GGydF4y2Ba和GydF4y2BaλGydF4y2Ba_HGydF4y2Ba，拉格朗日乘法器矢量。它的长度是约束的总数。GydF4y2Ba

KKT条件是：GydF4y2Ba

{\nablaGydF4y2Ba}_{XGydF4y2Ba} L.GydF4y2Ba （GydF4y2Ba XGydF4y2Ba 那GydF4y2Ba λGydF4y2Ba ）GydF4y2Ba =GydF4y2Ba 0.GydF4y2Ba 那GydF4y2Ba

（2）GydF4y2Ba

{λGydF4y2Ba}_{GGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba} {GGydF4y2Ba}_{一世GydF4y2Ba} （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba =GydF4y2Ba 0.GydF4y2Ba \forallGydF4y2Ba 一世GydF4y2Ba 那GydF4y2Ba

（3）GydF4y2Ba

{GydF4y2Ba \begin{matrix} GGydF4y2Ba （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba \leq.GydF4y2Ba 0.GydF4y2Ba 那GydF4y2Ba \\ HGydF4y2Ba （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba =GydF4y2Ba 0.GydF4y2Ba 那GydF4y2Ba \\ {λGydF4y2Ba}_{GGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba} \geqGydF4y2Ba 0.GydF4y2Ba \end{matrix}

（4）GydF4y2Ba

求解器不使用三个表达式GydF4y2Ba方程4GydF4y2Ba在计算最优性度量。GydF4y2Ba

与之相关的最优性措施GydF4y2Ba方程2GydF4y2Ba是GydF4y2Ba

‖GydF4y2Ba {\nablaGydF4y2Ba}_{XGydF4y2Ba} L.GydF4y2Ba （GydF4y2Ba XGydF4y2Ba 那GydF4y2Ba λGydF4y2Ba ）GydF4y2Ba ‖GydF4y2Ba =GydF4y2Ba ‖GydF4y2Ba \nablaGydF4y2Ba FGydF4y2Ba （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba +GydF4y2Ba σ.GydF4y2Ba {λGydF4y2Ba}_{GGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba} \nablaGydF4y2Ba {GGydF4y2Ba}_{一世GydF4y2Ba} （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba +GydF4y2Ba σ.GydF4y2Ba {λGydF4y2Ba}_{HGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba} \nablaGydF4y2Ba {HGydF4y2Ba}_{HGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba} （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba ‖GydF4y2Ba ．GydF4y2Ba

（5）GydF4y2Ba

与之相关的最优性措施GydF4y2Ba方程3GydF4y2Ba是GydF4y2Ba

‖GydF4y2Ba \overset{\toGydF4y2Ba}{{λGydF4y2Ba}_{GGydF4y2Ba} GGydF4y2Ba} （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba ‖GydF4y2Ba 那GydF4y2Ba

（6）GydF4y2Ba

常态的地方GydF4y2Ba方程6GydF4y2Ba表示向量的无穷大范数(最大值)GydF4y2Ba

\overset{\toGydF4y2Ba}{{λGydF4y2Ba}_{GGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba} {GGydF4y2Ba}_{一世GydF4y2Ba}} （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba

．GydF4y2Ba

组合的最优性测量是计算的最大值GydF4y2Ba方程5GydF4y2Ba和GydF4y2Ba方程6GydF4y2Ba．接受非线性约束函数报告约束违规的求解器GydF4y2BaGGydF4y2Ba（GydF4y2BaXGydF4y2Ba）> 0.GydF4y2Ba或GydF4y2Ba|GydF4y2BaHGydF4y2Ba（GydF4y2BaXGydF4y2Ba）|> 0GydF4y2Ba作为GydF4y2Ba约束特许GydF4y2Ba违规行为。看GydF4y2Ba公差和停止标准GydF4y2Ba．GydF4y2Ba

求解器形式的受限最优性GydF4y2Ba

大多数约束的工具箱求解器将它们的一级最优性测量分开到边界，线性函数和非线性函数。该措施是以下两个规范的最大值，其对应于GydF4y2Ba方程5GydF4y2Ba和GydF4y2Ba方程6GydF4y2Ba：GydF4y2Ba

\begin{array}{l} ‖GydF4y2Ba {\nablaGydF4y2Ba}_{XGydF4y2Ba} L.GydF4y2Ba （GydF4y2Ba XGydF4y2Ba 那GydF4y2Ba λGydF4y2Ba ）GydF4y2Ba ‖GydF4y2Ba =GydF4y2Ba ‖GydF4y2Ba \nablaGydF4y2Ba FGydF4y2Ba （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba +GydF4y2Ba {一种GydF4y2Ba}^{T.GydF4y2Ba} {λGydF4y2Ba}_{一世GydF4y2Ba NGydF4y2Ba E.GydF4y2Ba 问：GydF4y2Ba L.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba} +GydF4y2Ba 一种GydF4y2Ba E.GydF4y2Ba {问：GydF4y2Ba}^{T.GydF4y2Ba} {λGydF4y2Ba}_{E.GydF4y2Ba 问：GydF4y2Ba L.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba} \\ +GydF4y2Ba σ.GydF4y2Ba {λGydF4y2Ba}_{一世GydF4y2Ba NGydF4y2Ba E.GydF4y2Ba 问：GydF4y2Ba NGydF4y2Ba O.GydF4y2Ba NGydF4y2Ba L.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba} \nablaGydF4y2Ba {CGydF4y2Ba}_{一世GydF4y2Ba} （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba +GydF4y2Ba σ.GydF4y2Ba {λGydF4y2Ba}_{E.GydF4y2Ba 问：GydF4y2Ba NGydF4y2Ba O.GydF4y2Ba NGydF4y2Ba L.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba} \nablaGydF4y2Ba CGydF4y2Ba E.GydF4y2Ba {问：GydF4y2Ba}_{一世GydF4y2Ba} （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba ‖GydF4y2Ba 那GydF4y2Ba \end{array}

（7）GydF4y2Ba

‖GydF4y2Ba \overset{\toGydF4y2Ba}{|GydF4y2Ba {L.GydF4y2Ba}_{一世GydF4y2Ba} -GydF4y2Ba {XGydF4y2Ba}_{一世GydF4y2Ba} |GydF4y2Ba {λGydF4y2Ba}_{L.GydF4y2Ba O.GydF4y2Ba W.GydF4y2Ba E.GydF4y2Ba R.GydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba}} 那GydF4y2Ba \overset{\toGydF4y2Ba}{|GydF4y2Ba {XGydF4y2Ba}_{一世GydF4y2Ba} -GydF4y2Ba {你GydF4y2Ba}_{一世GydF4y2Ba} |GydF4y2Ba {λGydF4y2Ba}_{你GydF4y2Ba P.GydF4y2Ba P.GydF4y2Ba E.GydF4y2Ba R.GydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba}} 那GydF4y2Ba \overset{\toGydF4y2Ba}{|GydF4y2Ba {（GydF4y2Ba 一种GydF4y2Ba XGydF4y2Ba -GydF4y2Ba B.GydF4y2Ba ）GydF4y2Ba}_{一世GydF4y2Ba} |GydF4y2Ba {λGydF4y2Ba}_{一世GydF4y2Ba NGydF4y2Ba E.GydF4y2Ba 问：GydF4y2Ba L.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba}} 那GydF4y2Ba \overset{\toGydF4y2Ba}{|GydF4y2Ba {CGydF4y2Ba}_{一世GydF4y2Ba} （GydF4y2Ba XGydF4y2Ba ）GydF4y2Ba |GydF4y2Ba {λGydF4y2Ba}_{一世GydF4y2Ba NGydF4y2Ba E.GydF4y2Ba 问：GydF4y2Ba NGydF4y2Ba O.GydF4y2Ba NGydF4y2Ba L.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba}} ‖GydF4y2Ba 那GydF4y2Ba

（8）GydF4y2Ba

向量的范数在哪里GydF4y2Ba方程7GydF4y2Ba和GydF4y2Ba方程8GydF4y2BaInfinity Norm（最大值）。拉格朗日乘法器上的下标对应于求解器拉格朗日乘法器结构。看GydF4y2Ba拉格朗日乘法器结构GydF4y2Ba．求和GydF4y2Ba方程7GydF4y2Ba范围超过所有约束。如果绑定为±GydF4y2Ba正GydF4y2Ba，该术语不受限制，因此它不是求和的一部分。GydF4y2Ba

仅线性平等GydF4y2Ba

对于一些只有线性等式的大规模问题，一阶最优测度是其无穷范数GydF4y2Ba预计GydF4y2Ba梯度。换句话说，一阶最优测度是投影到零空间上的梯度的大小GydF4y2BaAEQ.GydF4y2Ba．GydF4y2Ba

有界最小二乘和信任区域反射求解器GydF4y2Ba

对于最小二乘求解器和信任区域反射算法，在单独界限的问题中，一阶最优测量是最大的GydF4y2Ba一世GydF4y2Ba的GydF4y2Ba|GydF4y2BaV.GydF4y2Ba_{一世GydF4y2Ba}*GydF4y2BaGGydF4y2Ba_{一世GydF4y2Ba}|GydF4y2Ba．这里GydF4y2BaGGydF4y2Ba_{一世GydF4y2Ba}是GydF4y2Ba一世GydF4y2Ba梯度的第Th分量，GydF4y2BaXGydF4y2Ba是目前的点，还是GydF4y2Ba

${V.GydF4y2Ba}_{一世GydF4y2Ba} =GydF4y2Ba {GydF4y2Ba \begin{array}{l} |GydF4y2Ba {XGydF4y2Ba}_{一世GydF4y2Ba} -GydF4y2Ba {B.GydF4y2Ba}_{一世GydF4y2Ba} |GydF4y2Ba & 如果负梯度指向边界GydF4y2Ba {B.GydF4y2Ba}_{一世GydF4y2Ba} \\ 1GydF4y2Ba & 否则GydF4y2Ba ．GydF4y2Ba \end{array}$

如果GydF4y2BaXGydF4y2Ba_{一世GydF4y2Ba}是束缚，GydF4y2BaV.GydF4y2Ba_{一世GydF4y2Ba}是零。如果GydF4y2BaXGydF4y2Ba_{一世GydF4y2Ba}不是在一个边界处，那么在一个极小化点处的梯度GydF4y2BaGGydF4y2Ba_{一世GydF4y2Ba}应该为零。因此，一流的最优性测量值应在最小化点处为零。GydF4y2Ba

一阶最优性测量GydF4y2Ba

什么是一阶优化措施？GydF4y2Ba

停止与一阶最优性相关的规则GydF4y2Ba

无约束最优GydF4y2Ba

受限的最优理论GydF4y2Ba

求解器形式的受限最优性GydF4y2Ba

仅线性平等GydF4y2Ba

有界最小二乘和信任区域反射求解器GydF4y2Ba

相关的话题GydF4y2Ba

优化工具箱的文档GydF4y2Ba

万博1manbetx

8个Matlab备忘上数据科学GydF4y2Ba