改装

类:FeatureSelectionNCARegression

改装邻里成分分析(NCA)模型进行回归

句法

mdlrefit =改装(MDL,名称,值)

描述

mdlrefit=改装(MDL名称,值整修模型MDL,与由一个或多个指定的修改的参数名称,值对参数。

输入参数

展开全部

邻里成分分析模型或分类,指定为FeatureSelectionNCARegression目的。

名称 - 值对参数

指定可选的用逗号分隔的对名称,值参数。名称是参数的名称和是对应的值。名称必须出现引号内。您可以按照任何顺序指定多个名称和值对参数名1,值1,...,NameN,值N

配件选项

展开全部

用于装配模型的方法,指定为逗号分隔的一对组成的'使用fitmethod'与下列情况之一。

  • '精确'- 执行使用所有数据的拟合。

  • '没有'- 无配件。使用此选项使用在调用中提供的初始特征权评估NCA模型的泛化误差fsrnca

  • '平均'- 该函数的数据划分成若干分区(子集),使用适合的每个分区精确方法,并且返回的平均特征权重。您可以使用指定的分区数NumPartitions名称 - 值对的参数。

例:'使用fitmethod', '无'

正则化参数,指定为逗号分隔的一对组成的“拉姆达”和一个非负标量值。

对于ñ观察,最好的LAMBDA值最小化的NCA模型的泛化误差预期为1的倍数/ñ

例:'LAMBDA',0.01

数据类型:|

解算器类型用于估计的特征权重,指定为逗号分隔的一对组成的“求解”与下列情况之一。

  • 'lbfgs'- 有限存储器BFGS(的Broyden-弗莱彻-戈德法布-Shanno无)算法(LBFGS算法)

  • “新元”- 随机梯度下降

  • 'minibatch-lbfgs'- 施加到微型批次,LBFGS算法随机梯度下降

例:'求解', 'minibatch-lbfgs'

初始特征权重,指定为逗号分隔的一对组成的'InitialFeatureWeights'p×1矢量实正标量的值。

数据类型:|

指示器,用于会聚概要显示详细级别,指定为逗号分隔的一对组成的“放牧”与下列情况之一。

  • 0 - 没有收敛汇总

  • 1 - 收敛摘要,包括迭代数,梯度的范数,并且目标函数值。

  • > 1 - 取决于拟合算法的更多收敛信息

    当使用求解'minibatch-lbfgs'和详细级别> 1时,收敛性信息包括迭代从中间minibatch LBFGS配合登录。

例:'冗长',2

数据类型:|

LBFGS或小批量LBFGS选项

展开全部

对求解器的梯度范相对收敛容差lbfgs,指定为逗号分隔的一对组成的'GradientTolerance'和正实标值。

例:'GradientTolerance',0.00001

数据类型:|

SGD或小批量LBFGS选项

展开全部

最初的学习率求解SGD,指定为逗号分隔的一对组成的'InitialLearningRate'而正标量值。

当使用类型解算器“新元”,学习率衰减了迭代开始值指定'InitialLearningRate'

例:'InitialLearningRate',0.8

数据类型:|

通行证解算器的最大数量“新元”(随机梯度下降),指定为逗号分隔的一对组成的'PassLimit'和一个正整数。每个传送过程大小(mdl.X,1)观察结果。

例:'PassLimit',10

数据类型:|

SGD或LBFGS或小批量LBFGS选项

展开全部

最大迭代次数,指定为逗号分隔的一对组成的'IterationLimit'和一个正整数。

例:'IterationLimit',250

数据类型:|

输出参数

展开全部

邻里成分分析模型或分类,返回为FeatureSelectionNCARegression目的。您可以将结果要么保存为一个新模型或更新现有模型MDL =改装(MDL,名称,值)

例子

展开全部

加载样本数据。

加载('robotarm.mat'

robotarm(pumadyn32nm)数据集使用机器人臂模拟器7168的训练和测试1024与观测特征32 [1],[2]创建。这是原始数据集的预处理版本。数据是通过减去关闭线性回归拟合随后的所有特征正常化到单位方差预处理。

不计算特征选择泛化的错误。

NCA = fsrnca(Xtrain,ytrain,'使用fitmethod''没有'“标准化”,1);L =损失(NCA,XTEST,ytest)
L = 0.9017

现在,改装模型和计算与特征选择的预测损失,具有 λ = 0(无正则项),并比较了先前的损耗值,以确定特征选择对这个问题似乎有必要。对于设置,你不改变,改装使用初始模型的设置NCA。例如,使用中发现的特征权NCA作为初始特征权重。

nca2 =改装(NCA,'使用fitmethod''精确'“拉姆达”,0);L2 =损耗(nca2,XTEST,ytest)
L2 = 0.1088

在损失的减少表明,特征选择是必要的。

画出要素权重。

图()图(nca2.FeatureWeights,'RO'

调整调整参数通常会提高的结果。假设,调整后 λ 使用交叉验证作为调正则化参数在NCA的回归, 最好的 λ 价值发现的是0.0035。改装NCA模型采用这种 λ 值和随机梯度下降作为解算器。计算预测的损失。

nca3 =改装(nca2,'使用fitmethod''精确'“拉姆达”,0.0035,...“求解”“新元”);L3 =损耗(nca3,XTEST,ytest)
L3 = 0.0573

画出要素权重。

图()图(nca3.FeatureWeights,'RO'

调整调整参数后,损失更加降低,软件识别的特征相关的四强。

参考

[1] Rasmussen的,C. E.,R. M.尼尔,G. E.欣顿,D.面包车Campand,M. Revow,Z. Ghahramani,R. Kustra,R. Tibshirani。该DELVE手册,1996年,http://mlg.eng.cam.ac.uk/pub/pdf/RasNeaHinetal96.pdf

[2]https://www.cs.toronto.edu/~delve/data/datasets.html

介绍了在R2016b