主要内容

基于NCA的稳健回归特征选择

使用NCA中的自定义稳健损失函数执行对异常值稳健的特征选择。

生成带有异常值的数据

生成回归的样本数据,其中响应取决于三个预测值,即预测值4、7和13。

rng(123,“龙卷风”)%的再现性n = 200;X = randn (n, 20);y = cos (X (:, 7)) + sin (X(:, 4)。* X (:, 13)) + 0.1 * randn (n, 1);

向数据中添加异常值。

numoutliers=25;outlieridx=floor(linspace(10,90,numoutliers));y(outlieridx)=5*randn(numoutliers,1);

绘制数据。

图绘制(y)

图中包含一个axes对象。axes对象包含一个line类型的对象。

使用非鲁棒损耗函数

特征选择算法的性能在很大程度上取决于正则化参数的值。一个很好的做法是调整正则化参数,以获得在特征选择中使用的最佳值。使用五重交叉验证调整正则化参数。使用均方误差(MSE):

微卫星 = 1. N = 1. N ( Y - Y J ) 2.

首先,将数据分成五个部分。在每个部分中,软件使用五分之四的数据进行培训,五分之一的数据进行验证(测试)。

cvp=cvp分区(长度(y),“kfold”,5);numtestsets=cvp.numtestsets;

计算要测试的lambda值,并创建一个数组来存储损失值。

lambdavals=linspace(0,3,50)*std(y)/长度(y);lossvals=0(长度(lambdavals),numtestset);

执行NCA并计算每种情况下的损失 λ 价值和每一次折叠。

对于i=1:长度(λ)对于k=1:numtestsets Xtrain=X(cvp.training(k),:);ytrain=y(cvp.培训(k),:);Xtest=X(cvp试验(k),:);y试验=y(cvp试验(k),:);nca=fsrnca(Xtrain,ytrain,“FitMethod”,“准确”,...“解算器”,“lbfgs”,“冗长”,0,“拉姆达”,lambdavals(i),...“失去功能”,mse的);lossvals (i (k) =损失(nca, Xtest,欧美,“失去功能”,mse的);终止终止

绘制每个λ值对应的平均损失。

figure meanloss=平均值(lossvals,2);绘图(lambdavals,meanloss,“ro-”)xlabel(“拉姆达”)伊拉贝尔(‘损失(MSE)’)网格在…上

图中包含一个axes对象。axes对象包含一个line类型的对象。

找到 λ 产生最小平均损失的值。

[~, idx] = min(意味着(lossvals, 2));bestlambda = lambdavals (idx)
最佳λ=0.0231

使用最佳配置执行特征选择 λ 价值和MSE。

nca=fsrnca(X,y,“FitMethod”,“准确”,“解算器”,“lbfgs”,...“冗长”1.“拉姆达”bestlambda,“失去功能”,mse的);
o解算器=LBFGS,HessianHistorySize=15,第二个月第二个月第二个月第二个月第二个月第二个月第第二个月第第二个月第第二个月第第二个月第第二个月第第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二方方方方方方方方方方方方将将将将将为为为第二周周周周周周周周周周周周周周周周周第第第二方方方方方方方方方方方方方方方方方方方第第第第第1 1 1 1 1 1 7 7 7 7周周周周周周周周周周周周周周周周周第第第第第第第第第第第第第第第第第第第第第第第=============================================================================================================================================================================================================================================0 | 6.414642e+00 | 8.430e-01 |0.0 0 0.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 4.6 6 6 6.066100e+0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 4.952e-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 E-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1.108548e+00 | 3.933e-01 | 8.564e-01 |正常| 3.599e-01 | 1.000e+00 |是| 4 | 4.808456e+00 | 2.505e-01 | 9.352e-01 |正常| 8.798e-01 |2.085e-01 1246.014e-01 6.014e-01 4.014e-01 1246.014e-014 E-01“OK”OK 12444.1.052 E+0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 \124;是,是,是,是的第四4.4.7 7 7 7.677 7 7 7 7.7373737 7 7 7 7 7 7 7 7 7 7.7-0 0 0 0 0 0 0 0-0 0 0 0-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0-01号E-01号E-01 \1244.7.7.7 7-1-7-7 7.4-7.4 4 4-7 7 7-4 4 4 4 4 4-124; 4.253e-01 | OK | 3.367e-01 | 1.000e+00 |是| 8 | 4.258539e+00 | 3.629e-01 | 4.705e-01 |是| 9 |4.018e-01“4.018”E-01“4.018 E-01”4.018 E-01“4.018 E-01”4.018 E-01“1.000e+0 0 0 0 0 0 0 0 0 0 E+00 12444 4 4.5 5 5 5 5 5+00 1244四四四四四四四四四四四四四四四四四四五五5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 \\12444 4四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四。1.1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 124; 1.000e+00 |是| 12 | 4.059690e+00 | 1.584e-01 | 5.213e-01 |好| 9.930e-01 | 1.000e+00 |是| 13 | 4.029208e+00 | 7.411e-02|2.0.7 7.7 7.6 E-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0“是的”2.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.7 7 7 7 7 7.7 7 7 7 7 7 7 7 7 7 6 6 6.7 7 6 6 6 6 6 6 6 6.6 6 6 6 6 E-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 16 | 3.986929e+00 | 6.158e-02 | 2.993e-01 |好| 1.353e+00 | 1.000e+00 |是| 17 | 3.976342e+00 | 4.966e-02 | 2.213e-01 |好|7.6.6 6.6 6 6 6 6 6 6 6 6 6 6 6 6 E+00 5.458 E-0 2.5 5 5 8 8 E-2 2.5 5 8 8 8 8 8 E-0 0 0 0 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 E-0 0 1.6 8 8 8 E-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7.6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 8 8 8 8 8 8 8 8 8 8 8 8 8 8 E-5 5 5 5 5 5 5 5 8 8 8 8 8 8 8 8 8 8 E-5 5 5 5 5 5 5 5 5 5 5 5 8 8 8 8 8 8 8 E-5 5 5 5 8 8 8 8 8 8 8 8 8 8 8 8 8 8 E-0 5 5 5 5 5 5 5============================================================================================================================================================国际热核实验堆|乐趣价值|标准梯度|标准阶梯|曲线|第二方第=====================第第二方第第二方第第二方第第二方第第二方第第二方第第第第二方第第第二方第第二方第第第二方第第二方第二方第二方第二方第二方第二方第二方第二方第二方第二方第二方第二方第二方第第二方第二方第第第二方第礼礼礼礼礼礼礼第第第第第第第第第第第第第第二方第二方第二方第第第二方第二方第第第第第第第二方第礼礼礼礼礼礼第第第第第第第第第第二方第第第第第第第二方第第第第第二方第二方第第第第第第第第二方第第第第第第二方第第第第第第二方第礼礼礼礼礼礼第第第第第第第第第第第第第第第第|21 | 3.945475e+00 | 3.119e-02 | 1.698e-01 |好| 1.095e+00 | 1.000e+00 |是| 22 | 3.941567e+00 | 2.350e-02 | 1.293e-01 |好|3.939468e+0 0 0 4.1 6 E-1.296e-0 0 0 1.6 E-2 1.805e-0 0 1.805e-0 0 1.805e-0 0 1 1.805e-01“OK”1.805e-01“OK”OK,2.287e+0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0;6.421e-03 | 5.334e-02 |正常| 1.102e+00 | 1.000e+00 |是| 26 | 3.938013e+00 | 5.449e-03 | 6.773e-02 |正常| 2.085e+00 | 1.000e+00 |3.368e-02|3.66E-02𞓜;4.4 4个E-02よOKよ7.541e-01よ1244よ; 7.541e-01124四四四四四四四四四号124;124周四周四周四124;;; 7号号号124四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四个州州\\\|;;;;;;;; 7 7号号号号号号号号号号号号号7 7 7 7 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6.3.3.3.4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 124; OK | 1.863e+00 | 1.000e+00 |是| 30 | 3.937784e+00 | 2.448e-03 | 1.265e-02 | OK | 9.667e-01 | 1.000e+00 |是| 31 | 3.9377E+00|6.6.7 7 7.7 7 7.3 3 E-6.7 7 7.3 3 3.3 3 3.3 E-3.7 7 6.7 7 7.7 7 7.3 3.3.3 3.3 3.3.3.7 7 7 7.3 3.3.7 7 3.7 7 E-4 4 4 4 4 4.3.6.6 6 6.7 E-0 0 0 0 0 0 E-0 0 0 0 0 0 0 0 E+0 0 0 0 0 0 0 0 0个E+0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0\\12412412444“是””和3“是“是”和3.3“是”和3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3|是| 34 | 3.937777e+00 | 1.959e-04 | 1.537e-03 |好| 4.026e+00 | 1.000e+00 |是| 35 | 3.9377E+00 | 1.162e-04 | 1.464e-03 |3.93777 E+0 0 |; 3.93777 E+0 0 | 3.93777 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7.3 3 3 E-05 | 3.3 3 3 3.3 3 3 3 3.415 5 E-5 5 5 5 5 5 5 5 5 5| 3.3.413 3 3 E-5 5124四四四四四四四四四四四个“3.3.3.6 6 6 6 6 6 6 5 5 5 5 5 5 5”E-3.3.6 6个E-5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5“3.3.3.6 6 6 6 6 6 6 6个E-5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 00 | 1.277e-05 | 3.808e-05 |正常| 1.021e+00 | 1.000e+00 |是| 39 | 3.9377E+00 | 8.614e-06 | 3.698e-05 |正常| 2.561e+00 |1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1月1.0月1.0月1.0月1.0月1日“是”的“是”的“是”的“是”的“是”的”的第1.0月1.0月1月1.0月1月1月1月1日第1月1月1.0月1月1月1月1月1日第1日,第1月1月1月1比比比比第1月1月1月1月1月1月1月1月1月1第1月1月1第1第1第1第1第1月1第1第1第1月1月1月1月1月1月1第1第1第1第1第1第1第1第1第1第1第==============================================================================================================================================================================================================================40 | 3.937777e+00 | 3.159e-06 | 5.299e-05 | OK|4.3.37777 E+00 12444.3.7 7 7 E-7.7 7 E-7 7.036e-7 7.036e-7 7.036e-06 1244.1.080e-0 0 0 0 0 0 0 0 0 5 12400 0 0 0 0 0 0 0 0 0 0 0 0 0 5 12400 0 12400 0 0 0 12400 0 0 0 0 12444 4.4.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 E-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0步骤=7.036e-06,TolX=1.000e-06最终梯度的相对无限范数=7.054e-07,TolFun=1.000e-06出口:找到局部最小值。

打印选定的要素。

图表(nca.FeatureWeights,“罗”)网格在…上包含(“功能索引”)伊拉贝尔(“特征权重”)

图中包含一个axes对象。axes对象包含一个line类型的对象。

使用以下公式预测响应值:nca建模并绘制拟合(预测)响应值和实际响应值。

图拟合=预测(nca,X);图(y,“r.”)持有在…上情节(安装,“b-”)xlabel(“索引”)伊拉贝尔(“拟合值”)

图中包含一个axes对象。axes对象包含两个line类型的对象。

fsrnca尝试拟合数据中的每个点,包括异常值。因此,除了预测值4、7和13外,它还为许多特征分配非零权重。

使用内置的鲁棒损失函数

重复优化正则化参数的相同过程,这次使用内置的 ϵ -不敏感损失函数:

L ( Y , Y J ) = 最大值 ( 0 , | Y - Y J | - ϵ )

ϵ -与均方误差相比,不敏感损失函数对异常值的鲁棒性更强。

lambdavals=linspace(0,3,50)*std(y)/长度(y);cvp=cvpartition(长度(y),“kfold”,5); numtestsets=cvp.numtestsets;lossvals=零(长度(lambdavals),numtestset);对于i=1:长度(λ)对于k=1:numtestsets Xtrain=X(cvp.training(k),:);ytrain=y(cvp.培训(k),:);Xtest=X(cvp试验(k),:);y试验=y(cvp试验(k),:);nca=fsrnca(Xtrain,ytrain,“FitMethod”,“准确”,...“解算器”,“新加坡元”,“冗长”,0,“拉姆达”,lambdavals(i),...“失去功能”,‘ε敏感’,“ε”损失(i,k)=损失(nca、Xtest、ytest、,“失去功能”,mse的);终止终止

这个 ϵ 要使用的值取决于数据,最佳值也可以通过交叉验证确定 ϵ 值超出此示例的范围。选择 ϵ 在本例中,主要是为了说明该方法的鲁棒性。

绘制每个λ值对应的平均损失。

figure meanloss=平均值(lossvals,2);绘图(lambdavals,meanloss,“ro-”)xlabel(“拉姆达”)伊拉贝尔(‘损失(MSE)’)网格在…上

图中包含一个axes对象。axes对象包含一个line类型的对象。

找到产生最小平均损失的lambda值。

[~, idx] = min(意味着(lossvals, 2));bestlambda = lambdavals (idx)
最佳λ=0.0187

使用拟合邻域分量分析模型 ϵ -不敏感的损失函数和最佳lambda值。

nca=fsrnca(X,y,“FitMethod”,“准确”,“解算器”,“新加坡元”,...“拉姆达”bestlambda,“失去功能”,‘ε敏感’,“ε”,0.8);

打印选定的要素。

图表(nca.FeatureWeights,“罗”)网格在…上包含(“功能索引”)伊拉贝尔(“特征权重”)

图中包含一个axes对象。axes对象包含一个line类型的对象。

绘制拟合值。

图拟合=预测(nca,X);图(y,“r.”)持有在…上情节(安装,“b-”)xlabel(“索引”)伊拉贝尔(“拟合值”)

图中包含一个axes对象。axes对象包含两个line类型的对象。

ϵ -不敏感损失似乎对异常值更为稳健。它识别出的相关特征少于MSE。拟合表明,它仍然受到一些异常值的影响。

使用自定义鲁棒损失函数

定义对异常值具有鲁棒性的自定义鲁棒损失函数,用于回归的特征选择:

F ( Y , Y J ) = 1. - 经验 ( - | Y - Y J | )

customlosscn=@(yi,yj)1-exp(-abs(yi-yj'));

使用自定义的鲁棒损失函数调整正则化参数。

lambdavals=linspace(0,3,50)*std(y)/长度(y);cvp=cvpartition(长度(y),“kfold”,5); numtestsets=cvp.numtestsets;lossvals=零(长度(lambdavals),numtestset);对于i=1:长度(λ)对于k=1:numtestsets Xtrain=X(cvp.training(k),:);ytrain=y(cvp.培训(k),:);Xtest=X(cvp试验(k),:);y试验=y(cvp试验(k),:);nca=fsrnca(Xtrain,ytrain,“FitMethod”,“准确”,...“解算器”,“lbfgs”,“冗长”,0,“拉姆达”,lambdavals(i),...“失去功能”,香港海关(sfcn);损失(i,k)=损失(nca、Xtest、ytest、,“失去功能”,mse的);终止终止

绘制每个λ值对应的平均损失。

figure meanloss=平均值(lossvals,2);绘图(lambdavals,meanloss,“ro-”)xlabel(“拉姆达”)伊拉贝尔(‘损失(MSE)’)网格在…上

图中包含一个axes对象。axes对象包含一个line类型的对象。

找到 λ 产生最小平均损失的值。

[~, idx] = min(意味着(lossvals, 2));bestlambda = lambdavals (idx)
最佳λ=0.0165

使用自定义的鲁棒损失函数和最佳 λ 价值

nca=fsrnca(X,y,“FitMethod”,“准确”,“解算器”,“lbfgs”,...“冗长”1.“拉姆达”bestlambda,“失去功能”,香港海关(sfcn);
o解算器=LBFGS,HessianHistorySize=15,第二个月第二个月第二个月第二个月第二个月第二个月第第二个月第第二个月第第二个月第第二个月第第二个月第第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二方方方方方方方方方方方方将将将将将为为为第二周周周周周周周周周周周周周周周周周第第第二方方方方方方方方方方方方方方方方方方方第第第第第1 1 1 1 1 1 7 7 7 7周周周周周周周周周周周周周周周周周第第第第第第第第第第第第第第第第第第第第第第第=======================================================================================================================================================================================================================================0 | 8.610073e-01 | 4.921e-02 |0.000e+0 0 0.0 0 0 0.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 01244124;1244124; 1.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 677090e-01 | 2.666e-02 | 7.583e-01 |正常| 1.092e+01 | 1.000e+00 |是| 4 | 5.620806e-01 | 5.524e-03 | 3.335e-01 |正常| 9.973e+00 |1.428e-03 12401.0255 E-03号E-01 0.0255 E-01 12400 0 0 0 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 E-03 12400 0 0 5 5 5 5 5 5 5 5 5.0 5 5 5 5 5 5 5 5 5 5 0 0 0 E-0 0 0 0 0 0 0 0 5 5 5 5 5 5 0 0 0 0 0 E-01“OK \1244”1.736 6 5 5 5 5 5 5 0 0 0 0 0 0 0 0 0\\\\1244\124四四四四四四四四四四四四四四四四四四四四四四不不不不不不不\\\\\\\\\\124四四四四四四四四2.466e-02 | OK | 2.105e+01 | 1.000e+00 |是| 8 | 5.614620e-01 | 1.307e-04 | 1.373e-02 | OK | 2.002e+01 | 1.000e+00 |是| 9 |5.6.3 E+0.3 E+0.3 E+0 0.3 E+0.6 6.3 E+0.3 E+0 0 0 0 0 0 0 0 0 0 0 01244124;是| 4.6.6 6.6 6.6 6 6.6 6 6.6 6 6.6 6 6.6 6 6.6 6 6.6 6 6.3 E-3 E-3 E-0 0 0 0 0 0 E-0 0 0 0 0 0 0 E+0 0 0 0 0 0 0 0 0 0 0 E+0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 E+0 0 0 0 0 0 0 0 0 0 0 0 0\\\1244””1.0 0 0 0 0 0 0 0 0\\1244”1.0 0 0 0 0 0 0 0 0 0 0 0\\12445\1244124; 5.000e-01 |是| 12 | 5.614610e-01 | 3.174e-06 | 4.742e-04 |好| 2.510e+01 | 1.000e+00 |是| 13 | 5.614610e-01 | 7.896e-07|1.683e-04 | OK | 2.959e+01 | 1.000e+00 | YES |最终坡度的无穷大范数=7.896e-07最后一步的两个范数=1.683e-04,TolX=1.000e-06最终坡度的相对无穷大范数=7.896e-07,TolFun=1.000e-06出口:找到局部最小值。

打印选定的要素。

图表(nca.FeatureWeights,“罗”)网格在…上包含(“功能索引”)伊拉贝尔(“特征权重”)

图中包含一个axes对象。axes对象包含一个line类型的对象。

绘制拟合值。

图拟合=预测(nca,X);图(y,“r.”)持有在…上情节(安装,“b-”)xlabel(“索引”)伊拉贝尔(“拟合值”)

图中包含一个axes对象。axes对象包含两个line类型的对象。

在这种情况下,损失不受异常值的影响,结果基于大多数观测值。fsrnca将预测器4、7和13检测为相关功能,不选择任何其他功能。

为什么损失函数的选择会影响结果?

首先,计算两个观测值之差的一系列值的损失函数。

deltay=linspace(-10,101000)';

计算自定义损失函数值。

customlossvals=CustomLossCn(deltay,0);

计算ε不敏感损失函数和值。

ε=@(yi,yj,E)max(0,abs(yi-yj')-E);epsinsenvals=epsinsensitive(deltay,0,0.5);

计算MSE损失函数和值。

mse=@(yi,yj)(yi-yj')。^2;msevals=mse(deltay,0);

现在,画出损失函数,看看它们之间的差异,以及它们为什么会以这种方式影响结果。

图形绘图(德尔泰、customlossvals、,“g-”,德尔泰,爱普森瓦尔斯,“b-”,德尔泰,姆塞瓦尔,“r-”)xlabel("(yi-yj)")伊拉贝尔(‘损失(yi,yj)’)传奇(“海关损失”,‘ε敏感’,mse的)ylim([0 20])

图中包含一个Axis对象。Axis对象包含3个line类型的对象。这些对象表示customloss、EpsilonsSensitive、mse。

当两个响应值之间的差值增加时,MSE二次增加,这使得它对异常值非常敏感fsrnca为了尽量减少这种损失,它最终确定了更多相关的特征。ε不敏感损失比MSE更能抵抗离群值,但最终它确实开始随着两个观测值之间的差值增加而线性增加。随着两个观测值之间的差值增加,稳健损失函数确实接近1和即使观测值之间的差异不断增大,它仍保持在该值。在三个值中,它对异常值最为稳健。

另见

||||

相关话题