이번역페이지는최신내용을담고있지않습니다。최신내용을문으로보려면여기를클릭하십시오。
fitrsvm
서포트벡터머신회귀모델피팅
구문
설명
fitrsvm은저차원에서중간차원까지의예측변수데이터세트에대해서포트벡터머신(SVM)회귀모델을훈련시키거나교차검증합니다。fitrsvm은커널함수를사용하여예측변수데이터를매핑하는것을지원합니다。또한SMO, ISDA또는목적함수최소화를위한차2계획법을사용하는L1소프트마진최소화를지원합니다。
고차원데이터세트,즉많은예측변수를포함하는데이터세트에대해선형SVM회귀모델을훈련시키려면fitrlinear를대신사용하십시오。
이진분류를위해SVM모델을훈련시키려면저차원에서중간차원까지의예측변수데이터세트의경우fitcsvm을참조하고고차원데이터세트의경우fitclinear를참조하십시오。
Mdl= fitrsvm (资源描述，ResponseVarName）资源描述에포함된예측변수값과资源描述。ResponseVarName에포함된응답변수값을사용하여훈련된전체서포트벡터머신(svm)회귀모델Mdl을반환합니다。
예제
선형서포트벡터머신회귀모델훈련시키기
행렬에저장된표본데이터를사용하여서포트벡터머신(SVM)회귀모델을훈련시킵니다。
carsmall데이터세트를불러옵니다。
负载carsmallrng“默认”%用于再现性
马力와重量를예측변수(X)로지정하고英里/加仑를응답변수(Y)로지정합니다。
X =[马力，重量];Y = mpg;
디폴트支持向量机회귀모델을훈련시킵니다。
Mdl = fitrsvm(X,Y)
Mdl = RegressionSVM ResponseName: 'Y' CategoricalPredictors: [] ResponseTransform: 'none' Alpha: [75x1 double] Bias: 57.3958 KernelParameters: [1x1 struct] NumObservations: 93 BoxConstraints: [93x1 double] ConvergenceInfo: [1x1 struct] Is万博1manbetxSupportVector: [93x1 logical] Solver: 'SMO' Properties, Methods
Mdl은 훈련된RegressionSVM모델입니다。
모델이수렴하는지확합니다。
Mdl.ConvergenceInfo.Converged
ans =逻辑0
0은모델이수렴하지않았음을나타냅니다。
준화된데이터를사용하여모델을다시훈련시킵니다。
MdlStd = fitrsvm(X,Y，“标准化”,真正的)
MdlStd = RegressionSVM ResponseName: 'Y' CategoricalPredictors: [] ResponseTransform: 'none' Alpha: [77x1 double] Bias: 22.9131 KernelParameters: [1x1 struct] Mu: [109.3441 2.9625e+03] Sigma: [45.3545 805.9668] NumObservations: 93 BoxConstraints: [93x1 double] ConvergenceInfo: [1x1 struct] Is万博1manbetxSupportVector: [93x1 logical] Solver: 'SMO' Properties, Methods
모델이수렴하는지확합니다。
MdlStd.ConvergenceInfo.Converged
ans =逻辑1
1은모델이수렴했음을나타냅니다。
새모델에대해재대입(본내)평균제곱오차를계산합니다。
lStd = resubLoss(MdlStd)
lStd = 17.0256
서포트벡터머신회귀모델훈련시키기
UCI机器学习库의전복데이터를사용하여서포트벡터머신회귀모델을훈련시킵니다。
데이터를다운로드한후“abalone.csv”라는이름으로현재폴더에저장합니다。
url =“https://archive.ics.uci.edu/ml/machine-learning-databases/abalone/abalone.data”；websave (“abalone.csv”url);
데이터를테이블에읽어들입니다。변수이름을지정합니다。
Varnames = {“性”；“长度”；“直径”；“高度”；“Whole_weight”；.．.“Shucked_weight”；“Viscera_weight”；“Shell_weight”；“戒指”};Tbl =可读(“abalone.csv”，“文件类型”，“文本”，“ReadVariableNames”、假);Tbl.Properties.VariableNames = varnames;
` ` ` ` ` `본데이터는4177개의관측값을포함합니다。모든예측변수는性를제외하고모두연속형변수입니다。性는가능한값으로“米”(수컷)，“F”(암컷)，“我”(유생)를갖는범주형변수입니다。전복껍질에새겨진원형무늬의개수(环에저장되어있음)를예측하고물리적측정값을사용하여나이를확marketing하는것이목적입니다。
자동커널스케일을갖는가우스커널함수를사용하여支持向量机회귀모델을훈련시킵니다。데이터를@ @준화합니다。
rng默认的%用于再现性Mdl = fitrsvm(Tbl，“戒指”，“KernelFunction”，“高斯”，“KernelScale”，“汽车”，.．.“标准化”,真正的)
Mdl = RegressionSVM PredictorNames:{'性别' '长度' '直径' '高度' 'Whole_weight' 'Shucked_weight' ' a_weight' 'Shell_weight'} ResponseName: 'Rings'分类预测:1 ResponseTransform: 'none' Alpha: [3635×1 double]偏差:10.8144 KernelParameters: [1×1 struct] Mu: [0 0 0 0 0.5240 0.4079 0.1395 0.8287 0.3594 0.1806 0.2388] Sigma: [1 1 1 1 0.1201 0.0992 0.0418 0.4904 0.2220 0.1096 0.1392] NumObservations: 4177 BoxConstraints: [4177×1 double] ConvergenceInfo:[1×1 struct] Is万博1manbetxSupportVector: [4177×1 logical] Solver: 'SMO'属性，方法
명령 창에Mdl이 훈련된RegressionSVM모델로` ` `시되고속성목록이` ` ` `시됩니다。
점@ @기법을사용하여Mdl의속성을@ @시합니다。예를들어，모델이수렴했는지여부와모델이몇회의반복을완료했는지를확marketing합니다。
conv = mll . convergenceinfo . converged
conv =逻辑1
iter = Mdl。NumIterations
Iter = 2759
반환된결과는모델이2759회반복후에수렴했음을나타냅니다。
支持向量机회귀모델교차검하기
carsmall데이터세트를불러옵니다。
负载carsmallrng“默认”%用于再现性
马力와重量를예측변수(X)로지정하고英里/加仑를응답변수(Y)로지정합니다。
X =[马力重量];Y = mpg;
5겹교차검을사용하여2개의SVM회귀모델을교차검합니다。두모델에대해예측변수를@ @준화하도록지정합니다。한모델은디폴트선형커널을사용하여훈련하도록지정하고,다른한모델은가우스커널을사용하도록지정합니다。
MdlLin = fitrsvm(X,Y，“标准化”,真的,“KFold”5)
MdlLin = RegressionPartitionedSVM CrossValidatedModel: 'SVM' PredictorNames: {'x1' 'x2'} ResponseName: 'Y' NumObservations: 94 KFold: 5 Partition: [1x1 cvpartition] ResponseTransform: 'none'属性，方法
MdlGau = fitrsvm(X,Y，“标准化”,真的,“KFold”5,“KernelFunction”，“高斯”）
MdlGau = RegressionPartitionedSVM CrossValidatedModel: 'SVM' PredictorNames: {'x1' 'x2'} ResponseName: 'Y' NumObservations: 94 KFold: 5 Partition: [1x1 cvpartition] ResponseTransform: 'none'属性，方法
MdlLin。训练有素的
ans =5×1单元格数组{1 x1 classreg.learning.regr。CompactRegressionSVM} {1x1 classreg.learning.regr.CompactRegressionSVM} {1x1 classreg.learning.regr.CompactRegressionSVM} {1x1 classreg.learning.regr.CompactRegressionSVM} {1x1 classreg.learning.regr.CompactRegressionSVM}
MdlLin과MdlGau는RegressionPartitionedSVM교차검된모델입니다。각 모델의训练有素的속성은CompactRegressionSVM모델로구성된5×1셀형배열입니다。셀에포함된모델은1겹관측값을빼고4겹관측값에대해훈련한결과를저장합니다。
두모델의일반화오차를비교합니다。이경우일반화오차는@ @본외평균제곱오차입니다。
mseLin = kfoldLoss(MdlLin)
mseLin = 17.4417
mseGau = kfoldLoss(MdlGau)
mseGau = 16.7355
가우스커널을사용한支持向量机회귀모델이선형커널을사용한모델보다성능이낫습니다。
전체데이터세트를fitrsvm으로전달하여예측을수행하는데적합한모델을만들고,모델성능을더좋게만들었던모든이름——값쌍의인수를지정합니다。단，교차검옵션은지정하지않습니다。
MdlGau = fitrsvm(X,Y，“标准化”,真的,“KernelFunction”，“高斯”）;
차량집합의mpg를예측하기위해차량의마력및중량측정값을포함하는테이블과Mdl을预测에전달합니다。
支持向量机회귀최적화하기
이예제에서는fitrsvm을사용하여자동으로하이퍼파라미터를최적화하는방법을보여줍니다。이예제에서는carsmall데이터를사용합니다。
carsmall데이터세트를불러옵니다。
负载carsmall
马力와重量를예측변수(X)로지정하고英里/加仑를응답변수(Y)로지정합니다。
X =[马力重量];Y = mpg;
자동하이퍼파라미터최적화를사용하여5겹교차검증손실을최소화하는하이퍼파라미터를구합니다。
재현이가능하도록난수시드값을설정하고“expected-improvement-plus”획득함수를사용합니다。
rng默认的Mdl = fitrsvm(X,Y，“OptimizeHyperparameters”，“汽车”，.．.“HyperparameterOptimizationOptions”结构(“AcquisitionFunctionName”，.．.“expected-improvement-plus”）)
|====================================================================================================================| | Iter | Eval |目的:| |目的BestSoFar | BestSoFar | BoxConstraint | KernelScale |ε| | | |结果日志(1 +损失)运行时| | | (estim(观察) .) | | | | |====================================================================================================================| | 最好1 | | 6.8077 | 12.222 | 6.8077 | 6.8077 | 0.35664 | 0.043031 | 0.30396 | | 2 |最好| 2.9108 | 0.32852 | 2.9108 | 3.1259 | 70.67 | 710.65 | 1.6369 | | 3 |接受| 4.1884 | 0.12804 | 2.9108 | 3.1211 | 14.367 | 0.0059144 | 442.64 ||4 | Accept | 4.159 | 0.12821 | 2.9108 | 3.0773 | 0.0030879 | 715.31 | 2.6045 | | 5 | Best | 2.902 | 0.26455 | 2.902 | 2.9015 | 969.07 | 703.1 | 0.88614 | | 6 | Accept | 4.1884 | 0.10254 | 2.902 | 2.9017 | 993.93 | 919.26 | 22.16 | | 7 | Accept | 2.9307 | 0.15511 | 2.902 | 2.9018 | 219.88 | 613.28 | 0.015526 | | 8 | Accept | 2.9537 | 0.64234 | 2.902 | 2.9017 | 905.17 | 395.74 | 0.021914 | | 9 | Accept | 2.9073 | 0.1834 | 2.902 | 2.9017 | 24.242 | 647.2 | 0.17855 | | 10 | Accept | 2.9044 | 0.51973 | 2.902 | 2.9017 | 117.27 | 173.98 | 0.73387 | | 11 | Accept | 2.9035 | 0.17072 | 2.902 | 2.9016 | 1.3516 | 131.19 | 0.0093404 | | 12 | Accept | 4.0917 | 0.12211 | 2.902 | 2.902 | 0.012201 | 962.58 | 0.0092777 | | 13 | Accept | 2.9525 | 1.1148 | 2.902 | 2.902 | 77.38 | 65.508 | 0.0093299 | | 14 | Accept | 2.9352 | 0.17607 | 2.902 | 2.9019 | 21.591 | 166.43 | 0.035214 | | 15 | Accept | 2.9341 | 0.13887 | 2.902 | 2.9019 | 45.286 | 207.56 | 0.009379 | | 16 | Accept | 2.9104 | 0.10035 | 2.902 | 2.9018 | 0.064315 | 23.313 | 0.0093341 | | 17 | Accept | 2.9056 | 0.15295 | 2.902 | 2.9018 | 0.33909 | 40.311 | 0.053394 | | 18 | Accept | 2.9335 | 0.31865 | 2.902 | 2.8999 | 0.9904 | 41.169 | 0.0099688 | | 19 | Accept | 2.9929 | 0.41971 | 2.902 | 2.8995 | 0.0010811 | 33.401 | 0.017694 | | 20 | Accept | 4.1884 | 0.11533 | 2.902 | 2.9 | 0.0014524 | 1.9514 | 856.49 | |====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | BoxConstraint| KernelScale | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 21 | Accept | 2.904 | 0.16428 | 2.902 | 2.8831 | 88.487 | 405.92 | 0.44372 | | 22 | Accept | 2.9107 | 0.10926 | 2.902 | 2.884 | 344.34 | 992 | 0.28418 | | 23 | Accept | 2.904 | 0.10764 | 2.902 | 2.8841 | 0.92028 | 70.985 | 0.52233 | | 24 | Best | 2.859 | 1.1261 | 2.859 | 2.8606 | 18.319 | 27.763 | 3.008 | | 25 | Accept | 2.9177 | 4.1607 | 2.859 | 2.8612 | 39.154 | 24.119 | 0.67121 | | 26 | Accept | 2.9059 | 0.10984 | 2.859 | 2.8609 | 0.067541 | 15.019 | 1.192 | | 27 | Accept | 4.1884 | 0.10474 | 2.859 | 2.8622 | 987.04 | 3.1666 | 70.752 | | 28 | Accept | 2.8936 | 0.24984 | 2.859 | 2.8744 | 2.2395 | 36.089 | 1.6775 | | 29 | Accept | 2.9156 | 0.13157 | 2.859 | 2.875 | 0.0027368 | 12.221 | 0.10637 | | 30 | Accept | 2.9105 | 0.10586 | 2.859 | 2.8757 | 0.05895 | 21.326 | 0.2563 |
__________________________________________________________ 优化完成。最大目标达到30个。总函数评估:30总运行时间:45.0943秒总目标函数评估时间:23.8742最佳观测可行点:BoxConstraint KernelScale Epsilon _____________ ___________ _______ 18.319 27.763 3.008观测目标函数值= 2.859估计目标函数值= 2.8727函数评估时间= 1.1261最佳估计可行点(根据模型):BoxConstraint KernelScale Epsilon _____________ ___________ _______ 2.2395 36.089 1.6775估计目标函数值= 2.8757估计函数评估时间= 0.25397
Mdl = RegressionSVM ResponseName: 'Y' CategoricalPredictors: [] ResponseTransform: 'none' Alpha: [62x1 double] Bias: 45.4806 KernelParameters: [1x1 struct] NumObservations: 93 HyperparameterOptimizationResults: [1x1 bayesioptimization] BoxConstraints: [93x1 double] ConvergenceInfo: [1x1 struct] IsSu万博1manbetxpportVector: [93x1 logical] Solver: 'SMO' Properties, Methods
최적화는BoxConstraint，KernelScale및ε에대해탐색을수행했습니다。출력값은최소교차검손실추정값을갖는회귀입니다。
입력marketing수
출력marketing수
제한 사항
fitrsvm함수는저차원에서중간차원까지의데이터세트를지원합니다。고차원데이터세트에대해서는fitrlinear를대신사용하십시오。
팁
데이터세트가크지않다면항상예측변수를指导书준화하도록하십시오(
标准化참조)。@ @ @ @ @ @ @ @。KFold이름-값쌍의수를사용하여교차검을수행하는것이좋습니다。교차검결과를통해SVM모델이얼마나잘일반화되는지확할수있습니다。서포트벡터의희소성은SVM모델에있어서는이상적속성입니다。서포트벡터의개수를줄이려면
BoxConstraint이름-값쌍의通讯录수를큰값으로설정하십시오。단，이동작을수행하면훈련시간이가합니다。최적의훈련시간을위해
CacheSize를컴퓨터의메모리제한이허용하는한최대한높게설정하십시오。훈련세트에서서포트벡터의개수가관측값보다훨씬적을거라예상되는경우,이름——값쌍의인수
“ShrinkagePeriod”를사용하여활성세트를축소함으로써수렴되는속도를상당히높일수있습니다。“ShrinkagePeriod”,1000年을사용하는것이좋습니다。회귀선에서멀리떨어진중복된관측값은수렴에향을미치지않습니다。그러나,회귀선가까이에있는중복된관측값은몇개만있더라도수렴되는속도가상당히느려질수있습니다。다음과같은경우
“RemoveDuplicates”,真的를지정하여수렴되는속도를높이십시오。데이터세트에중복된관측값이많이있는경우。
몇개의중복된관측값이회귀선가까이에있을수있다고의심되는경우。
단，훈련중에원래데이터세트를유지하기위해，
fitrsvm함수는원래데이터세트와중복된관측값을제거한데이터세트를일시적으로각각별도로저장해야합니다。따라서，몇몇중복된관측값을포함하는데이터세트에대해真正的를지정할경우fitrsvm함수는원래데이터메모리의두배에가까운메모리를사용합니다。모델을훈련시킨후에는새데이터에대한응답변수를예측하는C / c++코드를생성할수있습니다。C/ c++코드를생성하려면MATLAB编码器™가필합니다。자세한내용은代码生成简介항목을참조하십시오。
알고리즘
선형SVM회귀문제와비선형SVM회귀문제의수학적정식화,그리고솔버알고리즘에대해알아보려면서포트벡터머신회귀이해하기항목을참조하십시오。
南，<定义>，빈문자형벡터(”)，빈字符串형(＂＂)，< >失踪값은누락데이터값을나타냅니다。fitrsvm함수는누락응답변수에대응되는데이터의전체행을제거합니다。가중치를정규화할때，fitrsvm함수는최소한개의누락예측변수를갖는관측값에대응되는가중치를모두무시합니다。따라서，관측값상자제약조건은BoxConstraint와일치하지않을수있습니다。fitrsvm함수는가중치가0 rm관측값을제거합니다。“标准化”,真的와“重量”를설정하면fitrsvm함수는대응되는가중평균과가중` ` `준편차를사용하여예측변수를` ` ` `준화합니다。즉,fitrsvm은다음을사용하여예측변수j(xj)를@준화합니다。xjk는예측변수j(열)의관측값k(행)입니다。
예측변수데이터에범주형변수가포함된경우소프트웨어가일반적으로이러한변수에대해전체가변수인코딩을사용합니다。소프트웨어는각범주형변수의각수준마다하나의가변수를생성합니다。
PredictorNames속성은원래예측변수이름마다하나의소를저장합니다。예를들어,세개의예측변수가있고,그중하나가세개수준을갖는범주형변수라고가정해보겠습니다。그러면PredictorNames는예측변수의원래이름을포함하는문자형벡터로구성된1×3셀형배열이됩니다。ExpandedPredictorNames속성은가변수를포함하여예측변수마다하나의소를저장합니다。예를들어,세개의예측변수가있고,그중하나가세개수준을갖는범주형변수라고가정해보겠습니다。그러면ExpandedPredictorNames는예측변수이름및새가변수의이름을포함하는문자형벡터로구성된1×5셀형배열이됩니다。마찬가지로，
β속성은가변수를포함하여예측변수마다하나의베타계수를저장합니다。万博1manbetxSupportVectors속성은가변수를포함하여서포트벡터에대한예측변수값을저장합니다。예를들어,m개의서포트벡터와세개의예측변수가있고,그중하나가세개의수준을갖는범주형변수라고가정해보겠습니다。그러면万博1manbetxSupportVectors는m×5행렬이됩니다。X속성은훈련데이터를원래입력된대로저장합니다。가변수는포함하지않습니다。입력값이테이블marketing경우，X는예측변수로사용된열만포함합니다。
테이블에지정된예측변수에대해변수중하나가순서가지정된(순서형)범주를포함하는경우소프트웨어는이러한변수에대해순서형인코딩(顺序编码)을사용합니다。
순서가지정된k개의수준을갖는변수에대해K - 1개의가변수를생성합니다。J번째가변수는J수준까지는－1이되고，J + 1에서k까지의수준에서는＋1이됩니다。
ExpandedPredictorNames속성에저장된가변수의이름은값＋1을갖는첫번째수준을나타냅니다。소프트웨어는수준2,3，…，k의 이름을 포함하여 가변수에 대해K - 1개의추가예측변수이름을저장합니다。
모든솔버는L1소프트마진(Soft-Margin)최소화를구현합니다。
p는훈련데이터에서사용자가예상하는이상값비율이라고하겠습니다。OutlierFraction, p를설정하면로버스트학습을구현합니다。다시말해，최적화알고리즘이수렴될때소프트웨어가관측값의100p를제거한다는의미입니다。제거되는관측값은크기가큰기울기에해당합니다。
참고 문헌
[1]克拉克，D.施雷特，A.亚当斯。“逆向传播与逆向传播的定量比较”，提交给1996年澳大利亚神经网络会议。
[2]范，r.e。,林志信。陈和c - j。林。“使用二阶信息训练支持向量机的工作集选择。”万博1manbetx机器学习研究杂志，2005年第6卷，第1889-1918页。
[3]凯克曼V. -M。黄和M.沃格特。从庞大数据集训练核心机器的迭代单数据算法:理论和性能。支持向万博1manbetx量机:理论与应用。王立波编辑，255-274。柏林:斯普林格出版社，2005年。
[4] Lichman, M. UCI机器学习库，[http://archive.ics.uci.edu/ml]。加州欧文市:加州大学信息与计算机科学学院。
[5]纳什，w.j.， T. L.塞勒斯，S. R.塔尔博特，A. J.考索恩，W. B.福特。鲍鱼种群生物学(石决明种)在塔斯马尼亚。I.黑唇鲍鱼(h . rubra)来自北海岸和巴斯海峡群岛。”海洋渔业司，1994年第48号技术报告。
[6]哇，S。级联相关的扩展和基准测试:前馈监督人工神经网络级联相关架构的扩展和基准测试。塔斯马尼亚大学计算机科学系论文，1995年。
확장 기능
버전 내역
您也可以从以下列表中选择一个网站: