优化交叉验证分类器使用`bayesopt`

打开直播脚本

这个例子展示了如何优化SVM分类使用bayesopt函数。

或者，您可以通过使用OptimizeHyperparameters名称-值参数。例如，请参见使用贝叶斯优化优化分类器．

生成数据

分类工作在一个高斯混合模型的点的位置。在统计学习的要素， Hastie, Tibshirani, and Friedman(2009)，第17页描述了这个模型。该模型首先为“绿色”类生成10个基点，分布为均值(1,0)和单位方差的2-D独立正态分布。它还为“红色”类生成10个基点，分布为均值(0,1)和单位方差的2-D独立正态分布。对于每个职业(绿色和红色)，生成100个随机点数如下:

选择一个基点米随机均匀地均匀。
生成一个独立的具有二维正态分布的随机点米方差I/5，其中I是2 × 2单位矩阵。在本例中，使用方差I/50来更清楚地显示优化的优势。

为每个职业生成10个基点。

RNG（'默认'）%的再现性GRNPOP = MVNRND（[1,0]，眼睛（2），10）;Redpop = mvnrnd（[0,1]，眼睛（2），10）;

查看基点。

情节(grnpop (: 1) grnpop (:, 2),“去”） 抓住在绘图（REDPOP（：，1），REDPOP（:,2），“罗”） 抓住从

图中包含一个轴对象。轴对象包含两个类型为line的对象。

由于一些红色基点接近绿色基点，因此可以难以仅基于位置对数据点进行分类。

生成每个类的100个数据点。

Redpts = 0 (100,2);为i = 1:10 0 grnpts(我:)= mvnrnd (grnpop(兰迪(10):)、眼睛(2)* 0.02);redpts(我)= mvnrnd (redpop(兰迪(10):)、眼睛(2)* 0.02);结束

查看数据点。

图绘制(grnpts (: 1), grnpts (:, 2),“去”） 抓住在情节(redpts (: 1) redpts (:, 2),“罗”） 抓住从

图中包含一个轴对象。轴对象包含两个类型为line的对象。

准备分类数据

将数据放入一个矩阵，并生成一个向量grp标记每个点的类别。1表示绿色类，-1表示红色类。

cdata = [grnpts; redpts];grp = 1 (200 1);grp (101:200) = 1;

准备交叉验证

为交叉验证设置分区。此步骤修复优化在每个步骤中使用的列车和测试集。

c = cvpartition (200“KFold”10);

为贝叶斯优化准备变量

建立一个接受输入的函数z = [rbf_sigma，boxconstraint]并返回的交叉验证损失值z．取z作为正的，对数变换的变量1 e-5和1 e5．选择宽范围，因为您不知道哪个值可能是好的。

σ= optimizableVariable (“σ”(1 e-5, 1 e5),“转换”，“日志”）;盒= optimizableVariable (“盒子”(1 e-5, 1 e5),“转换”，“日志”）;

目标函数

这个函数句柄计算参数的交叉验证损失(σ,盒子)．有关详细信息,请参见kfoldLoss．

bayesopt通过变量z将目标函数转换为单行表。

minfn = @ (z) kfoldLoss (fitcsvm (grp cdata,“CVPartition”c．．.“KernelFunction”，“rbf”，“BoxConstraint”z.box,．．.“KernelScale”，z.sigma））;

优化分类器

搜索最佳参数(σ,盒子)使用bayesopt．为了再现性，选择“expected-improvement-plus”采集功能。默认的获取函数取决于运行时，因此可以给出不同的结果。

结果= bayesopt (minfn,σ,盒子,“IsObjectiveDeterministic”,真的,．．.“AcquisitionFunctionName”，“expected-improvement-plus”）

|=====================================================================================================| | Iter | Eval客观客观| | | BestSoFar | BestSoFar |σ盒| | | | |结果运行时| | | (estim(观察) .) | | | |=====================================================================================================| | 1 |最好的| 0.61 | 0.14467 | 0.61 | 0.61 | 0.00013375 | 13929 | | 2 |的| 0.345 | 0.32138 | 0.345 | 0.345 | 24526 | 1.936 | | 3 |接受| 0.61 | 0.15556 | 0.345 | 0.345 | 0.0026459 | 0.00084929 | | 4 |接受| 0.345 | 0.22201 | 0.345 | 0.345 | 3506.3 | 6.7427 e-05 | | 5 |接受| 0.345 | 0.23322 | 0.345 | 0.345 | 9135.2 | 571.87 | 0.345 | | | 6 |接受0.23452 | 0.345 | 0.345 | 99701 | 10223 | | 7 | Best | 0.295 | 0.4902 | 0.295 | 0.295 | 455.88 | 9957.4 | | 8 | Best | 0.24 | 1.6982 | 0.24 | 0.24 | 31.56 | 99389 | | 9 | Accept | 0.24 | 2.1725 | 0.24 | 0.24 | 10.451 | 64429 | | 10 | Accept | 0.35 | 0.34675 | 0.24 | 0.24 | 17.331 | 1.0264e-05 | | 11 | Best | 0.23 | 1.1965 | 0.23 | 0.23 | 16.005 | 90155 | | 12 | Best | 0.1 | 0.3585 | 0.1 | 0.1 | 0.36562 | 80878 | | 13 | Accept | 0.115 | 0.26882 | 0.1 | 0.1 | 0.1793 | 68459 | | 14 | Accept | 0.105 | 0.22769 | 0.1 | 0.1 | 0.2267 | 95421 | | 15 | Best | 0.095 | 0.25957 | 0.095 | 0.095 | 0.28999 | 0.0058227 | | 16 | Best | 0.075 | 0.24026 | 0.075 | 0.075 | 0.30554 | 8.9017 | | 17 | Accept | 0.085 | 0.24761 | 0.075 | 0.075 | 0.41122 | 4.4476 | | 18 | Accept | 0.085 | 0.23312 | 0.075 | 0.075 | 0.25565 | 7.8038 | | 19 | Accept | 0.075 | 0.24088 | 0.075 | 0.075 | 0.32869 | 18.076 | | 20 | Accept | 0.085 | 0.24389 | 0.075 | 0.075 | 0.32442 | 5.2118 | |=====================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | sigma | box | | | result | | runtime | (observed) | (estim.) | | | |=====================================================================================================| | 21 | Accept | 0.3 | 0.3035 | 0.075 | 0.075 | 1.3592 | 0.0098067 | | 22 | Accept | 0.12 | 0.32037 | 0.075 | 0.075 | 0.17515 | 0.00070913 | | 23 | Accept | 0.175 | 0.29092 | 0.075 | 0.075 | 0.1252 | 0.010749 | | 24 | Accept | 0.105 | 0.31711 | 0.075 | 0.075 | 1.1664 | 31.13 | | 25 | Accept | 0.1 | 0.26516 | 0.075 | 0.075 | 0.57465 | 2013.8 | | 26 | Accept | 0.12 | 0.26723 | 0.075 | 0.075 | 0.42922 | 1.1602e-05 | | 27 | Accept | 0.12 | 0.26518 | 0.075 | 0.075 | 0.42956 | 0.00027218 | | 28 | Accept | 0.095 | 0.2753 | 0.075 | 0.075 | 0.4806 | 13.452 | | 29 | Accept | 0.105 | 0.28246 | 0.075 | 0.075 | 0.19755 | 943.87 | | 30 | Accept | 0.205 | 0.25643 | 0.075 | 0.075 | 3.5051 | 93.492 |

图中包含一个轴对象。以目标函数模型为标题的轴对象包含线、面、轮廓等5个对象。这些对象表示观测点，模型均值，下一个点，模型最小可行值。

图中包含一个轴对象。标题为Min objective vs. Number of function evaluated的axis对象包含2个类型为line的对象。这些对象代表最小观测目标、最小估计目标。

__________________________________________________________ 优化完成。maxobjective达到30个。总函数计算:30总运行时间:44.3854秒总目标函数计算时间:12.3795sigma箱_______ ______ 0.30554 8.9017观测目标函数值= 0.075估计目标函数值= 0.075函数评价时间= 0.24026最佳估计可行点(根据模型):sigma箱_______ ______ 0.32869 18.076估计目标函数值= 0.075估计函数评价时间= 0.24993

results = BayesianOptimization with properties: ObjectiveFcn: [function_handle] VariableDescriptions: [1x2 optimizableVariable] Options: [1x1 struct] MinObjective: 0.0750 XAtMinObjective: [1x2 table] minestimatedobjobjective: 0.0750 xatminestimatedobjobjective: [1x2 table] numobjectiveevalues:30 TotalElapsedTime: 44.3854 NextPoint:[1 x2表]XTrace: [30 x2表]ObjectiveTrace: [30 x1双]ConstraintsTrace: [] UserDataTrace: {30 x1细胞}ObjectiveEvaluationTimeTrace: [30 x1双]IterationTimeTrace: [30 x1双]ErrorTrace: [30 x1双]FeasibilityTrace: [30 x1逻辑]FeasibilityProbabilityTrace: [30 x1双]IndexOfMinimumTrace: [30 x1双]ObjectiveMinimumTrace:[30x1 double] EstimatedObjectiveMinimumTrace: [30x1 double]

得到最佳估计可行点XAtMinEstimatedObjective财产或使用bestPoint函数。默认情况下,bestPoint函数使用'最小的上级置信区间'标准。具体操作请参见标准名称-值参数bestPoint．

结果。XAtMinEstimatedObjective

ans =1×2表Sigma箱_______ ______ 0.32869 18.076

z = bestPoint(结果)

z =1×2表Sigma箱_______ ______ 0.32869 18.076

使用最优点来训练一个新的、优化的SVM分类器。

SVMModel = fitcsvm (grp cdata,“KernelFunction”，“rbf”，．．.“KernelScale”z.sigma,“BoxConstraint”, z.box);

要可视化支持向量分类器，可以在网格万博1manbetx上预测分数。

d = 0.02;[x1Grid, x2Grid] = meshgrid (min (cdata (: 1)): d:马克斯(cdata (: 1)),．．.分钟(cdata (:, 2)): d:马克斯(cdata (:, 2)));xGrid = [x1Grid (:), x2Grid (:));[~,分数]=预测(SVMModel xGrid);

绘制分类边界。

图h (1:2) = gscatter (cdata (: 1), cdata (:, 2), grp,“rg”，' + *’）;持有在h(3) = plot(cdata(SVMModel.Is万博1manbetxSupportVector,1)，．．.cdata (SVMModel.I万博1manbetxsSupportVector, 2),“柯”）;轮廓(x1Grid x2Grid,重塑(分数(:,2),大小(x1Grid)), [0 0),“k”）;传奇(h, {' 1 '，'+1'，“万博1manbetx支持向量”}，'地点'，“东南”）;

图中包含一个轴对象。轴对象包含线条、轮廓等4个对象。这些对象代表-1，+1，支持向量。万博1manbetx

评估新数据的准确性

生成并对新的测试数据点进行分类。

GRNOBJ = GMDistribution（GRNPOP，.2 * EYE（2））;Redobj = Gmdistribution（Redpop，.2 *眼睛（2））;newdata =随机（grnobj，10）;newdata = [newdata;随机（redobj，10）];grpdata = a那么多（20,1）;% green = 1grpData (11) = 1;% red = -1v =预测(SVMModel newData);

计算测试数据集上的误分类率。

L =损失(SVMModel newData grpData)

L = 0.3500

看看哪些新的数据点是正确分类的。用红色圈出正确分类的点，用黑色圈出错误分类的点。

h (4:5) = gscatter (newData (: 1), newData (:, 2), v,'MC'，“* *”）;mydiff = (v == grpData);%分类正确为2 = mydiff%在正确的点周围绘制红色方块h(6) =情节(newData (ii, 1), newData (ii, 2),“rs”，'Markersize'，12）;结束为2 =不(mydiff)%在错误点周围绘制黑色方块h(7) =情节(newData (ii, 1), newData (ii, 2),“ks”，'Markersize'，12）;结束传奇(h, {“1”(培训)，“+ 1(培训)”，“万博1manbetx支持向量”，．．.“1”(分类)，“+ 1(分类)”，．．.正确分类的，“是不是”}，．．.'地点'，“东南”）;持有从