이페이지의최신내용은아직번역되지않았습니다。<一个href="//www.tianjin-qmedu.com/kr/help/optim/ug/least-squares-model-fitting-algorithms.html?lang=en" rel="nofollow">최신내용은영문으로볼수있습니다。
일반적으로최소제곱은제곱합인함수의국소최소점인벡터X를구하는문제이며,일부제약조건이적용될수있습니다。
적용되는조건은<小号pan class="inlineequation">A·X≤B,AEQ·X = BEQ,磅≤X≤UB 다양한유형의F(X)와다양한유형의제약조건에대해여러优化工具箱™솔버를사용할수있습니다。 优化工具箱솔버에는<一个href="//www.tianjin-qmedu.com/kr/help/matlab/ref/mldivide.html"> 모든알고리즘은대규모입니다。<一个href="//www.tianjin-qmedu.com/kr/help/optim/ug/choosing-the-algorithm.html" class="a">대규모알고리즘과중간규모알고리즘비교
솔버 F(X) 제약조건
mldivide
C·X - d
없음
lsqnonneg
C·X - d
X≥0
lsqlin
C·X - d
범위,선형
lsqnonlin
일반F(x)的 범위
lsqcurvefit
F(X,外部数据) - YDATA 범위 mldivide
优化工具箱솔버에사용되는대부분의방법이최적화의단순하지만강력한개념인<小号pan class="emphasis">신뢰영역 최적화에대한信任区접근법을이해하기위해제약조건이없는최소화문제를살펴보고中,f(x)的를최소화해보겠습니다。여기서함수는벡터인수를받고스칼라를반환합니다。Ñ공간에서점X에있고향상,즉더낮은함수값을가지는점으로이동하기를원한다고가정해보겠습니다。기본적인발상은점X주위에있는이웃Ñ에서함수˚F의동작을잘반영하는더간단한함수q를사용하여˚F를근사하는것입니다。이이웃을신뢰영역이라고합니다。시행스텝小号는Ñ에대한최소화(또는근사최소화)를수행하여계산됩니다。이를信赖域하위문제라고하며,다음과같습니다。 현재점은<小号pan class="inlineequation">F(X + S) F(X)를최소화하기위한특정信任区접근법을정의할때고려해야할핵심질문은근삿값Q(현재점X에서정의됨)를선택하고계산하는방법은무엇인가,신뢰영역Ñ을선택하고수정하는방법은무엇인가,그리고信任区域하위문제를얼마나정확하게풀수있는가입니다。이섹션에서는제약조건이없는문제를집중적으로설명합니다。뒷부분에나오는섹션에서는변수에대한제약조건이존재함으로인해복잡성이얼마나가중되는지에대해설명합니다。 표준信赖域방법(<一个href="//www.tianjin-qmedu.com/kr/help/optim/ug/selected-bibliography.html" class="a" hreflang="en">[48] 여기서克는현재점X에서˚F의기울기이고,H는헤세행렬(2계도함수의대칭행렬)이고,d는대각스케일링행렬이고,Δ는양의스칼라이며,∥。∥는2-노름입니다。<一个href="//www.tianjin-qmedu.com/kr/help/optim/ug/least-squares-model-fitting-algorithms.html" class="intrnllnk">수식2
이러한알고리즘은<一个href="//www.tianjin-qmedu.com/kr/help/optim/ug/least-squares-model-fitting-algorithms.html" class="intrnllnk">수식2 2차원부분공간小号는아래에설명되어있는<一个Class="indexterm" name="d120e18027">선조건적용켤레기울기법과정의도움을받아결정됩니다。솔버는小号를小号<小号ub>1 또는다음과같은<一个Class="indexterm" name="d120e18071">음의곡률의방향입니다。 이러한小号선택의바탕이되는철학은(최속강하법방향또는음의곡률방향을통해)전역수렴을강제적용하고(존재하는경우뉴턴스텝을통해)신속하게국소수렴을달성한다는것입니다。 信任区域알고리즘을사용한제약조건이없는최소화과정은이제다음과같이간단하게요약할수있습니다。 2차원信赖域하위문제를정식화합니다。 F(X + S) Δ를조정합니다。 이네단계는수렴할때까지반복됩니다。信任区域차원Δ는표준규칙에따라조정됩니다。특히,시행스텝이받아들여지지않은경우,즉<小号pan class="inlineequation">F(X + S)≥F(X) 优化工具箱솔버는비선형최소제곱,2차함수,선형최소제곱등의특화된함수를사용하여˚F에대한몇가지중요한특수사례를처리합니다。하지만,기반이되는알고리즘적발상은일반적인사례와동일합니다。이러한특수사례에대해서는뒷부분에나오는섹션에서설명합니다。
(1)
(2)
(3)
(4)
F(X)의중요한특수사례는다음과같은비선형최소제곱문제입니다。 여기서F(x)的는F(x)的의성분我가˚F<小号ub>一世 (여기서Ĵ는F(x)的의야코비행렬임)2차원부분공간小号를정의하는데도움이되도록사용됩니다。성분함수˚F<小号ub>一世 각반복마다선조건적용켤레기울기방법이정규방정식,즉다음에대한근사해를구하기위해사용됩니다。
정규방정식이명시적으로구성되지않은경우에도마찬가지입니다。
(5)
(6)
이사례에서풀려는함수F(X)는다음과같습니다。
여기에는선형제약조건이적용될수있습니다。이알고리즘은제한내에서국소해로수렴하는엄밀히실현가능한반복을생성합니다。각반복에는대규모선형시스템(차수가N,여기서Ñ은X의길이)의근사해가포함됩니다。반복행렬은행렬Ç의구조를갖습니다。특히,선조건적용켤레기울기법은정규방정식,즉다음에대한근사해를구하기위해사용됩니다。
정규방정식이명시적으로구성되지않은경우에도마찬가지입니다。 부분공간信赖域방법은탐색방향을결정하는데사용됩니다。하지만,비선형최소화사례에서처럼스텝을(가능한)하나의반사스텝으로제한하는대신2차문제의사례에서와마찬가지로각반복마다조각별반사직선탐색이수행됩니다。직선탐색에대한자세한내용은<一个href="//www.tianjin-qmedu.com/kr/help/optim/ug/selected-bibliography.html" class="a" hreflang="en">[45] 야코비행렬의곱셈함수。 이함수는사용자가직접제공합니다。이함수는행렬Ÿ에대해다음곱을계산해야합니다。 이는Ç가크지만그구조가Ç를명시적으로구성하지않고lsqlin
은행렬Ç를명시적으로사용하지않고선형제약조건이있는최소제곱문제를풀수있습니다。대신,다음과같이야코비행렬의곱셈함수W = jmfun(金佛山,Y,标志)
标志== 0
标志> 0
标志<0
여기에는선형제약조건과범위제약조건이적용됩니다。
이는ħ행렬을2C<小号up>Ťlsqlin
참고
quadprog
疏
充分
최소제곱문제에서는제곱합인함수F(X)가최소화됩니다。 이유형의문제는다수의실제응용사례에서나타나며,특히모델함수를데이터에피팅할때,즉비선형파라미터추정시나타납니다。이러한문제는또한출력값Y(X,T)가벡터X와스칼라吨에대해어떤연속(连续)모델궤적φ(t)的를따르기를원하는경우이를제어하는데에도많이나타납니다。이문제는다음으로표현할수있습니다。 여기서Y(X,T)와φ(t)的는스칼라함수입니다。 적절한구적법식을사용하여적분이이산화되면위문제는최소제곱문제로정식화될수있습니다。 여기서<小号pan class="inlineequation">
와<小号pan class="inlineequation">
는구적법규칙의가중치를포함합니다。참고로,이문제에서벡터F(x)的는다음과같습니다。
이러한유형의문제에서는현실적으로실현가능한목표궤적을설정하는것이보통이므로<一个Class="indexterm" name="d120e18458">잔차<小号pan class="inlineequation">∥F(X)∥ F(x)的m×n个의야코비행렬을Ĵ(x)的로나타내고中,f(x)的의기울기벡터를G(x)的로나타내고中,f(x)的의헤세행렬을H(x)的로나타내고,각˚F<小号ub>一世 여기서는다음이성립합니다。
행렬Q(x)的는X<小号ub>ķ 가우스 - 뉴턴방법에서탐색방향d<小号ub>ķ 이방법에서도출된방향은Q(x)的의항이무시될수있는경우뉴턴방향과동일합니다。탐색방향d<小号ub>ķ 2차항Q(x)的가유의미한경우가우스 - 뉴턴방법에서종종문제가발생할수있습니다。이문제를해결하는방법은文伯格 - 马夸特방법입니다。 文伯格 - 马夸特<一个href="//www.tianjin-qmedu.com/kr/help/optim/ug/selected-bibliography.html" class="a" hreflang="en">[25] 또는,선택적으로다음방정식의해인탐색방향을사용합니다。 여기서스칼라λ<小号ub>ķ λ<小号ub>ķ 내부적으로,列文伯格 - 马夸尔特알고리즘은최적성허용오차(중지기준) 따라서文伯格 - 马夸特방법은가우스 - 뉴턴방향과최속강하법방향을번갈아이용하는탐색방향을사용합니다。이에대해서는<一个href="//www.tianjin-qmedu.com/kr/help/optim/ug/least-squares-model-fitting-algorithms.html" class="intrnllnk">그림12-1。로젠브록함수에대해실행된文伯格 - 马夸特방법 그림12-1。로젠브록함수에대해실행된文伯格 - 马夸特방법 반복점을생성하는스크립트를포함하여위그림에대한더자세한설명을보려면<一个href="//www.tianjin-qmedu.com/kr/help/optim/examples/banana-function-minimization.html" class="a">바나나함수최소화
(7)
(8)
(9)
(10)
(11)
(12)
(13)
InitDamping