鲁棒特征选择使用NCA回归

打开实时脚本

在NCA中使用自定义鲁棒损失函数进行对离群值鲁棒的特征选择。

用异常值生成数据

生成回归的样本数据，其中响应依赖于三个预测因子，即预测因子4、7和13。

rng（123，“龙卷风”)%为了再现性n=200；X=randn（n，20）；y=cos（X（：，7））+sin（X（：，4）。*X（：，13））+0.1*randn（n，1）；

向数据中添加异常值。

numoutliers = 25;outlieridx =地板(linspace (10 90 numoutliers));y (outlieridx) = 5 * randn (numoutliers, 1);

图数据。

图表（y）

图中包含一个轴对象。axis对象包含一个类型为line的对象。

使用非稳健损失函数

特征选择算法的性能在很大程度上取决于正则化参数的值。一个很好的做法是调整正则化参数，以获得在特征选择中使用的最佳值。使用五重交叉验证调整正则化参数。使用均方误差（MSE）：

$均方误差 = \frac{1.}{N} \sum_{我 = 1.}^{N} {(Y_{我} - Y_{J})}^{2.}$

首先，将数据分成5个部分。在每个折叠中，软件使用4/5的数据进行训练，1/5的数据进行验证(测试)。

本量利= cvpartition(长度(y),“kfold”，5）；numtestsets=cvp.numtestsets；

计算要测试的lambda值，并创建一个数组来存储损失值。

lambdavals = linspace(50 0 3) *性病(y) /长度(y);lossvals = 0(长度(lambdavals), numtestsets);

执行NCA并计算每一个的损失 $λ$ 价值和每一次折叠。

对于i = 1:长度(lambdavals)对于Xtrain = X(cvp.training(k)，:);ytrain = y (cvp.training (k):);Xtest = X (cvp.test (k):);欧美= y (cvp.test (k):);nca = fsrnca (Xtrain ytrain,“FitMethod”,“准确”,...“规划求解”,“lbfgs”,“详细”0,“拉姆达”lambdavals(我),...“失去功能”,“mse”)损失（i，k）=损失（nca、Xtest、ytest、，“失去功能”,“mse”）;终止终止

绘制每个λ值对应的平均损失。

figure meanloss=平均值（lossvals，2）；绘图（lambdavals，meanloss，“ro - - - - - -”)包含(“拉姆达”) ylabel (‘损失（MSE）’网格)在

图中包含一个轴对象。axis对象包含一个类型为line的对象。

找到 $λ$ 产生最小平均损失的值。

[~，idx]=min（平均值（损耗，2））；bestlambda=lambdavals（idx）

最佳λ=0.0231

使用最好的方法进行特征选择 $λ$ 值和MSE。

nca = fsrnca (X, y,“FitMethod”,“准确”,“规划求解”,“lbfgs”,...“详细”,1，“拉姆达”，bestlambda，“失去功能”,“mse”）;

o解算器=LBFGS，HessianHistorySize=15，第二个月第二个月第二个月第二个月第二个月第二个月第第二个月第第二个月第第二个月第第二个月第第二个月第第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二个月第二方方方方方方方方方方方方将将将将将为为为第二周周周周周周周周周周周周周周周周周第第第二方方方方方方方方方方方方方方方方方方方第第第第第1 1 1 1 1 1 7 7 7 7周周周周周周周周周周周周周周周周周第第第第第第第第第第第第第第第第第第第第第第第=============================================================================================================================================================================================================================================0 | 6.414642e+00 | 8.430e-01 |0.0 0 0.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 4.6 6 6 6.066100e+0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 4.952e-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 E-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1.108548e+00 | 3.933e-01 | 8.564e-01 |正常| 3.599e-01 | 1.000e+00 |是| 4 | 4.808456e+00 | 2.505e-01 | 9.352e-01 |正常| 8.798e-01 |2.085e-01 1246.014e-01 6.014e-01 4.014e-01 1246.014e-014 E-01“OK”OK 12444.1.052 E+0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 \124;是，是，是，是的第四4.4.7 7 7 7.677 7 7 7 7.7373737 7 7 7 7 7 7 7 7 7 7.7-0 0 0 0 0 0 0 0-0 0 0 0-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0-01号E-01号E-01 \1244.7.7.7 7-1-7-7 7.4-7.4 4 4-7 7 7-4 4 4 4 4 4-124; 4.253e-01 | OK | 3.367e-01 | 1.000e+00 |是| 8 | 4.258539e+00 | 3.629e-01 | 4.705e-01 |是| 9 |4.018e-01“4.018”E-01“4.018 E-01”4.018 E-01“4.018 E-01”4.018 E-01“1.000e+0 0 0 0 0 0 0 0 0 0 E+00 12444 4 4.5 5 5 5 5 5+00 1244四四四四四四四四四四四四四四四四四四五五5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 \\12444 4四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四。1.1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 124; 1.000e+00 |是| 12 | 4.059690e+00 | 1.584e-01 | 5.213e-01 |好| 9.930e-01 | 1.000e+00 |是| 13 | 4.029208e+00 | 7.411e-02|2.0.7 7.7 7.6 E-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0“是的”2.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.7 7 7 7 7 7.7 7 7 7 7 7 7 7 7 7 6 6 6.7 7 6 6 6 6 6 6 6 6.6 6 6 6 6 E-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 16 | 3.986929e+00 | 6.158e-02 | 2.993e-01 |好| 1.353e+00 | 1.000e+00 |是| 17 | 3.976342e+00 | 4.966e-02 | 2.213e-01 |好|7.6.6 6.6 6 6 6 6 6 6 6 6 6 6 6 6 E+00 5.458 E-0 2.5 5 5 8 8 E-2 2.5 5 8 8 8 8 8 E-0 0 0 0 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 E-0 0 1.6 8 8 8 E-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7.6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 8 8 8 8 8 8 8 8 8 8 8 8 8 8 E-5 5 5 5 5 5 5 5 8 8 8 8 8 8 8 8 8 8 E-5 5 5 5 5 5 5 5 5 5 5 5 8 8 8 8 8 8 8 E-5 5 5 5 8 8 8 8 8 8 8 8 8 8 8 8 8 8 E-0 5 5 5 5 5 5 5============================================================================================================================================================国际热核实验堆|乐趣价值|标准梯度|标准阶梯|曲线|第二方第=====================第第二方第第二方第第二方第第二方第第二方第第二方第第第第二方第第第二方第第二方第第第二方第第二方第二方第二方第二方第二方第二方第二方第二方第二方第二方第二方第二方第二方第第二方第二方第第第二方第礼礼礼礼礼礼礼第第第第第第第第第第第第第第二方第二方第二方第第第二方第二方第第第第第第第二方第礼礼礼礼礼礼第第第第第第第第第第二方第第第第第第第二方第第第第第二方第二方第第第第第第第第二方第第第第第第二方第第第第第第二方第礼礼礼礼礼礼第第第第第第第第第第第第第第第第|21 | 3.945475e+00 | 3.119e-02 | 1.698e-01 |好| 1.095e+00 | 1.000e+00 |是| 22 | 3.941567e+00 | 2.350e-02 | 1.293e-01 |好|3.939468e+0 0 0 4.1 6 E-1.296e-0 0 0 1.6 E-2 1.805e-0 0 1.805e-0 0 1.805e-0 0 1 1.805e-01“OK”1.805e-01“OK”OK，2.287e+0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0；6.421e-03 | 5.334e-02 |正常| 1.102e+00 | 1.000e+00 |是| 26 | 3.938013e+00 | 5.449e-03 | 6.773e-02 |正常| 2.085e+00 | 1.000e+00 |3.368e-02|3.66E-02𞓜;4.4 4个E-02よOKよ7.541e-01よ1244よ; 7.541e-01124四四四四四四四四四号124;124周四周四周四124;;; 7号号号124四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四四个州州\\\|;;;;;;;; 7 7号号号号号号号号号号号号号7 7 7 7 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6.3.3.3.4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 124; OK | 1.863e+00 | 1.000e+00 |是| 30 | 3.937784e+00 | 2.448e-03 | 1.265e-02 | OK | 9.667e-01 | 1.000e+00 |是| 31 | 3.9377E+00|6.6.7 7 7.7 7 7.3 3 E-6.7 7 7.3 3 3.3 3 3.3 E-3.7 7 6.7 7 7.7 7 7.3 3.3.3 3.3 3.3.3.7 7 7 7.3 3.3.7 7 3.7 7 E-4 4 4 4 4 4.3.6.6 6 6.7 E-0 0 0 0 0 0 E-0 0 0 0 0 0 0 0 E+0 0 0 0 0 0 0 0 0个E+0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0\\12412412444“是””和3“是“是”和3.3“是”和3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3.3|是| 34 | 3.937777e+00 | 1.959e-04 | 1.537e-03 |好| 4.026e+00 | 1.000e+00 |是| 35 | 3.9377E+00 | 1.162e-04 | 1.464e-03 |3.93777 E+0 0 |; 3.93777 E+0 0 | 3.93777 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7.3 3 3 E-05 | 3.3 3 3 3.3 3 3 3 3.415 5 E-5 5 5 5 5 5 5 5 5 5| 3.3.413 3 3 E-5 5124四四四四四四四四四四四个“3.3.3.6 6 6 6 6 6 6 5 5 5 5 5 5 5”E-3.3.6 6个E-5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5“3.3.3.6 6 6 6 6 6 6 6个E-5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 00 | 1.277e-05 | 3.808e-05 |正常| 1.021e+00 | 1.000e+00 |是| 39 | 3.9377E+00 | 8.614e-06 | 3.698e-05 |正常| 2.561e+00 |1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1.0月1月1.0月1.0月1.0月1.0月1日“是”的“是”的“是”的“是”的“是”的”的第1.0月1.0月1月1.0月1月1月1月1日第1月1月1.0月1月1月1月1月1日第1日，第1月1月1月1比比比比第1月1月1月1月1月1月1月1月1月1第1月1月1第1第1第1第1第1月1第1第1第1月1月1月1月1月1月1第1第1第1第1第1第1第1第1第1第1第==============================================================================================================================================================================================================================40 | 3.937777e+00 | 3.159e-06 | 5.299e-05 | OK|4.3.37777 E+00 12444.3.7 7 7 E-7.7 7 E-7 7.036e-7 7.036e-7 7.036e-06 1244.1.080e-0 0 0 0 0 0 0 0 0 5 12400 0 0 0 0 0 0 0 0 0 0 0 0 0 5 12400 0 12400 0 0 0 12400 0 0 0 0 12444 4.4.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 E-0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0步骤=7.036e-06，TolX=1.000e-06最终梯度的相对无限范数=7.054e-07，TolFun=1.000e-06出口：找到局部最小值。

情节选择功能。

图表（nca.FeatureWeights，“罗”网格)在xlabel(“功能索引”) ylabel (“功能重量”)

图中包含一个轴对象。axis对象包含一个类型为line的对象。

使用以下公式预测响应值：nca建模并绘制拟合（预测）响应值和实际响应值。

figure fitted = predict(nca,X);情节(y,“r.”)持有在地块（已安装），“b -”)包含(“索引”) ylabel (的拟合值)

图中包含一个轴对象。轴对象包含两个类型为line的对象。

fsrnca试图拟合数据中的每个点，包括异常值。因此，除了预测器4、7和13之外，它还为许多特征分配了非零权值。

使用内置的鲁棒损失函数

重复调整正则化参数的相同过程，这次使用内置 $ϵ$ -不敏感损失函数：

$L (Y_{我}, Y_{J}) = 马克斯 (0, | Y_{我} - Y_{J} | - ϵ)$

$ϵ$ -与均方误差相比，不敏感损失函数对异常值的鲁棒性更强。

lambdavals = linspace(50 0 3) *性病(y) /长度(y);本量利= cvpartition(长度(y),“kfold”，5）；numtestsets=cvp.numtestsets；lossvals = 0(长度(lambdavals), numtestsets);对于i = 1:长度(lambdavals)对于Xtrain = X(cvp.training(k)，:);ytrain = y (cvp.training (k):);Xtest = X (cvp.test (k):);欧美= y (cvp.test (k):);nca = fsrnca (Xtrain ytrain,“FitMethod”,“准确”,...“规划求解”,“新加坡元”,“详细”0,“拉姆达”lambdavals(我),...“失去功能”,“epsiloninsensitive”,“ε”, 0.8);lossvals (i (k) =损失(nca, Xtest,欧美,“失去功能”,“mse”）;终止终止

这个 $ϵ$ 要使用的值取决于数据，最佳值也可以通过交叉验证确定 $ϵ$ 值超出了本示例的范围。的选择 $ϵ$ 本例主要是为了说明该方法的鲁棒性。

绘制每个λ值对应的平均损失。

figure meanloss=平均值（lossvals，2）；绘图（lambdavals，meanloss，“ro - - - - - -”)包含(“拉姆达”) ylabel (‘损失（MSE）’网格)在

图中包含一个轴对象。axis对象包含一个类型为line的对象。

找到产生最小平均损失的lambda值。

[~，idx]=min（平均值（损耗，2））；bestlambda=lambdavals（idx）

最佳λ=0.0187

采用拟合邻域分量分析模型 $ϵ$ -不敏感的损失函数和最佳lambda值。

nca = fsrnca (X, y,“FitMethod”,“准确”,“规划求解”,“新加坡元”,...“拉姆达”，bestlambda，“失去功能”,“epsiloninsensitive”,“ε”, 0.8);

情节选择功能。

图表（nca.FeatureWeights，“罗”网格)在xlabel(“功能索引”) ylabel (“功能重量”)

图中包含一个轴对象。axis对象包含一个类型为line的对象。

情节上的值。

figure fitted = predict(nca,X);情节(y,“r.”)持有在地块（已安装），“b -”)包含(“索引”) ylabel (的拟合值)

图中包含一个轴对象。轴对象包含两个类型为line的对象。

$ϵ$ 对异常值而言，不敏感损失似乎更为强劲。它识别的相关特征比MSE少。契合度表明，它仍然受到一些异常值的影响。

使用自定义鲁棒损失函数

定义对异常值具有鲁棒性的自定义鲁棒损失函数，用于回归的特征选择：

$F (Y_{我}, Y_{J}) = 1. - 经验 (- | Y_{我} - Y_{J} |)$

customlossFcn = @(yi,yj) 1 - exp(-abs(yi-yj'));

使用自定义的鲁棒损失函数调整正则化参数。

lambdavals = linspace(50 0 3) *性病(y) /长度(y);本量利= cvpartition(长度(y),“kfold”，5）；numtestsets=cvp.numtestsets；lossvals = 0(长度(lambdavals), numtestsets);对于i = 1:长度(lambdavals)对于Xtrain = X(cvp.training(k)，:);ytrain = y (cvp.training (k):);Xtest = X (cvp.test (k):);欧美= y (cvp.test (k):);nca = fsrnca (Xtrain ytrain,“FitMethod”,“准确”,...“规划求解”,“lbfgs”,“详细”0,“拉姆达”lambdavals(我),...“失去功能”, customlossFcn);lossvals (i (k) =损失(nca, Xtest,欧美,“失去功能”,“mse”）;终止终止

绘制每个λ值对应的平均损失。

figure meanloss=平均值（lossvals，2）；绘图（lambdavals，meanloss，“ro - - - - - -”)包含(“拉姆达”) ylabel (‘损失（MSE）’网格)在

图中包含一个轴对象。axis对象包含一个类型为line的对象。

找到 $λ$ 产生最小平均损失的值。

[~，idx]=min（平均值（损耗，2））；bestlambda=lambdavals（idx）

最佳λ=0.0165

使用自定义的鲁棒损失函数和最佳 $λ$ 价值

nca = fsrnca (X, y,“FitMethod”,“准确”,“规划求解”,“lbfgs”,...“详细”,1，“拉姆达”，bestlambda，“失去功能”, customlossFcn);

o Solver = LBFGS, HessianHistorySize = 15，LineSearchMethod = weakwolfe  |====================================================================================================| | ITER | |娱乐价值规范研究生| |规范一步曲线|γ|α|接受  | |====================================================================================================| | e-01 0 | 8.610073 | 4.921 e-02 |0.000 e + 00 | | 1.219 e + 01 | 0.000 e + 00 |是| | 1 | 6.582278 e-01 e-02 | 2.328 | 1.820 e + 00 |好01 | 1.000 | 2.177 e + e + 00 |是| | 2 | 5.706490 e-01 e-02 | 2.241 | 2.360 e + 00 |好01 | 1.000 | 2.541 e + e + 00 |是| | 3 | 5.677090 e-01 e-02 | 2.666 | 7.583 e-01 |好01 | 1.000 | 1.092 e + e + 00 |是| | 4 | 5.620806 e-01 e 03 | 5.524 | 3.335 e-01 9.973 e + 00 | | | OK1.000 e + 00 |是| | 5 | 5.616054 e-01 e 03 | 1.428 | 1.025 e-01 |好01 | 1.000 | 1.736 e + e + 00 |是| | 6 | 5.614779 e-01 e-04 | 4.446 | 8.350 e-02 |好01 | 1.000 | 2.507 e + e + 00 |是| | 7 | 5.614653 e-01 e-04 | 4.118 | 2.466 e-02 |好01 | 1.000 | 2.105 e + e + 00 |是| | 8 | 5.614620 e-01 e-04 | 1.307 | 1.373 e-02 |好01 | 1.000 | 2.002 e + e + 00 |是| | |e-05 e-01 5.614615 | 9.318 | 4.128 e 03 |好01 | 1.000 | 3.683 e + e + 00 |是| | 10 | 5.614611 e-01 e-05 | 4.579 | 8.785 e 03 |好01 | 1.000 | 6.170 e + e + 00 |是| | 11 | 5.614610 e-01 e-05 | 1.232 | 1.582 e 03 |好| 2.000 e + 01 | 5.000 e-01 |是| | 12 | 5.614610 e-01 e-06 | 3.174 | 4.742 e-04 |好01 | 1.000 | 2.510 e + e + 00 |是| | 13 e-01 | 5.614610 | 7.896 e-07 |1..683e-04 | OK | 2.959e+01 | 1.000e+00 | YES | Infinity norm of the final gradient = 7.896e-07 Two norm of the final step = 1.683e-04, TolX = 1.000e-06 Relative infinity norm of the final gradient = 7.896e-07, TolFun = 1.000e-06 EXIT: Local minimum found.

情节选择功能。

图表（nca.FeatureWeights，“罗”网格)在xlabel(“功能索引”) ylabel (“功能重量”)

图中包含一个轴对象。axis对象包含一个类型为line的对象。

情节上的值。

figure fitted = predict(nca,X);情节(y,“r.”)持有在地块（已安装），“b -”)包含(“索引”) ylabel (的拟合值)

图中包含一个轴对象。轴对象包含两个类型为line的对象。

在这种情况下，损失不受离群值的影响，结果是基于大多数的观测值。fsrnca检测预测因子4、7和13作为相关特征，不选择任何其他特征。

为什么损失函数的选择会影响结果？

首先，计算两个观测值之间的一系列值的损失函数。

deltay=linspace（-10,101000）'；

计算自定义损失函数值。

customlossvals = customlossFcn(δy, 0);

计算ε不敏感损失函数和值。

ε=@（yi，yj，E）max（0，abs（yi-yj'）-E）；epsinsenvals=epsinsensitive（deltay，0,0.5）；

计算MSE损失函数和值。

Mse = @(yi,yj) (yi-yj').^2;msevals = mse(δy, 0);

现在，画出损失函数，看看它们之间的差异，以及它们为什么会以这种方式影响结果。

图绘制(δy, customlossvals“g-”，德尔泰，爱普森瓦尔斯，“b -”δy msevals,“r-”)包含("(yi-yj)") ylabel (‘损失（yi，yj）’)传奇(“海关损失”,“epsiloninsensitive”,“mse”)ylim（[0 20]）

图中包含一个轴对象。轴对象包含3个类型为line的对象。这些对象表示customloss, epsiloninsensitive, mse。

当两个响应值的差值增大时，MSE呈二次型增加，这使得它对异常值非常敏感。作为fsrnca为了尽量减少这种损失，它最终确定了更多相关的特征。ε不敏感损失比MSE更能抵抗离群值，但最终它确实开始随着两个观测值之间的差值增加而线性增加。随着两个观测值之间的差值增加，稳健损失函数确实接近1和即使观测值之间的差异不断增大，它仍保持在该值。在三个值中，它对异常值最为稳健。

另见

fsrnca|FeatureSelectionNCARegression|改装|预测|损失

鲁棒特征选择使用NCA回归

用异常值生成数据

使用非稳健损失函数

使用内置的鲁棒损失函数

使用自定义鲁棒损失函数

为什么损失函数的选择会影响结果？

另见

相关的话题

统计和机器学习工具箱文档

万博1manbetx

掌握机器学习：用MATLAB逐步指导