adamupdate
使用自适应矩估计(Adam)更新参数
句法
描述
更新的定制培训循环利用自适应矩估计（亚当）算法的网络可以学习的参数。
注意
此功能适用亚当优化算法来更新网络参数定制培训循环定义为使用网络dlnetwork对象或模型函数。如果你想训练定义为一个网络层阵列或作为LayerGraph，使用以下功能:
创建一个
TrainingOptionsADAM对象使用trainingOptions功能。使用
TrainingOptionsADAM对象的trainNetwork功能。
[更新网络的可学习参数dlnet，averageGrad，averageSqGrad] = adamupdate（dlnet，毕业，averageGrad，averageSqGrad，迭代）dlnet使用ADAM算法。在一次训练中循环使用此语法来迭代更新定义为一个网络dlnetwork目的。
[中的可学习参数更新PARAMS，averageGrad，averageSqGrad] = adamupdate（PARAMS，毕业，averageGrad，averageSqGrad，迭代）PARAMS使用ADAM算法。在一次训练中循环使用此语法来迭代更新使用函数定义网络的可学习的参数。
[___] = adamupdate（___还规定值以用于全球学习速率，梯度衰减，多梯度腐烂，小恒ε，除了在以前的语法输入参数。learnRate，gradDecay，sqGradDecay，ε）
例子
更新可学习使用的参数adamupdate
在全局学习率为的情况下进行单步自适应矩估计更新0.05梯度的衰减因子0.75，和的平方的梯度衰减因子0.95。
创建的参数和参数的梯度为数字阵列。
PARAMS =兰特（3,3,4）;毕业=酮（3,3,4）;
初始化迭代计数器，平均梯度，并且对于第一次迭代均方梯度。
迭代= 1;averageGrad = [];averageSqGrad = [];
为全局学习率、梯度衰减因子和梯度衰减因子的平方指定自定义值。
learnRate = 0.05;gradDecay = 0.75;sqGradDecay = 0.95;
更新使用可学习的参数adamupdate。
[参数，可以averageGrad，averageSqGrad] = adamupdate（参数，可以为研究所，averageGrad，averageSqGrad，迭代，learnRate，gradDecay，sqGradDecay）;
更新迭代计数器。
迭代=迭代+ 1;
列车网络的使用adamupdate
用adamupdate用亚当算法训练一个网络。
负荷训练数据
加载数字训练数据。
[XTrain，YTrain] = digitTrain4DArrayData;类=类别（YTrain）;numClasses = numel（类）;
定义网络
定义网络，并使用指定的平均图像价值“的意思是”选项在图像输入层。
[imageInputLayer([28 28 1])，'名称'，“输入”，“的意思是”意味着(XTrain 4)) convolution2dLayer(5年,20年'名称'，'CONV1'）reluLayer（'名称'，“relu1”20岁的)convolution2dLayer (3“填充”,1'名称'，'CONV2'）reluLayer（'名称'，'relu2'20岁的)convolution2dLayer (3“填充”,1'名称'，'conv3'）reluLayer（'名称'，'relu3'）fullyConnectedLayer（numClasses，'名称'，'FC'）];lgraph = layerGraph（层）;
创建一个dlnetwork对象从层图。
dlnet = dlnetwork（lgraph）;
定义模型梯度函数
创建助手函数modelGradients，在示例的最后列出。函数接受dlnetwork目的dlnet和一小批输入数据DLX与相应的标签Y,并返回损耗和损失相对于在梯度的可学习参数dlnet。
指定培训选项
指定在培训期间使用的选项。
miniBatchSize = 128;numEpochs = 20;numObservations = numel（YTrain）;numIterationsPerEpoch =地板（numObservations./miniBatchSize）;
在GPU上进行训练，如果有的话。使用GPU需要Parallel Computing Toolbox™和支持CUDA®的NVIDIA®GPU，计算能力为3.0或更高。
执行环境=“汽车”;
初始化平均梯度和平方平均梯度。
averageGrad = [];averageSqGrad = [];
初始化迭代计数器。
迭代= 1;
初始化训练进度情节。
地块=“训练进度”;如果地块==“训练进度”figure lineLossTrain = animatedline;包含(“总迭代”）ylabel（“失利”）结束
列车网络
培养使用自定义的训练循环模型。对于每一个时代，洗牌对数据的小批量数据和循环。更新使用的网络参数adamupdate功能。在每个历元的端部，显示训练进度。
对于历元= 1：numEpochs％随机数据。idx = randperm(元素个数(YTrain));XTrain = XTrain (:,:,:, idx);YTrain = YTrain (idx);对于I = 1：numIterationsPerEpoch数据的读％小批量和转换标签哑％变量。IDX =（I-1）* miniBatchSize + 1：我* miniBatchSize;X = XTrain（：，：，：，IDX）;Y =零（numClasses，miniBatchSize，“单一”）;对于C = 1：numClasses Y（C，YTrain（IDX）==类（C））= 1;结束％转换小批量数据到dlarray的。DLX = dlarray（单（X），“SSCB”）;％如果在GPU上训练，然后数据转换为gpuArray。如果(executionEnvironment = =“汽车”&& canUseGPU）||执行环境==“GPU”DLX = gpuArray（DLX）;结束％评估模型梯度和损失使用dlfeval和％modelGradients助手功能。[毕业，损耗] = dlfeval（@ modelGradients，dlnet，DLX，Y）;%使用Adam优化器更新网络参数。[dlnet, averageGrad averageSqGrad] = adamupdate (dlnet,研究生,averageGrad averageSqGrad,迭代);％显示训练进度。如果地块==“训练进度”addpoints（lineLossTrain，迭代，双（聚（ExtractData由（亏损））））标题（“训练中的损失:时代-”+划时代+”;迭代——“+ I）的DrawNow结束％的增量迭代计数器。迭代=迭代+ 1;结束结束
测试网络
通过比较测试集上的预测值和真实标签来测试模型的分类精度。
[XTest, YTest] = digitTest4DArrayData;
转换数据到dlarray与尺寸格式“SSCB”。对于GPU的预测，也将数据转换为gpuArray。
dlXTest = dlarray（XTEST，“SSCB”）;如果(executionEnvironment = =“汽车”&& canUseGPU）||执行环境==“GPU”dlXTest = gpuArray（dlXTest）;结束
要使用图像分类dlnetwork对象,使用预测工作，并找到得分最高的类。
dlYPred =预测（dlnet，dlXTest）;[〜，IDX] = MAX（ExtractData由（dlYPred），[]，1）;YPred =类（IDX）;
评估分类精度。
精度=平均值（YPred == YTest）
精度= 0.9908
型号渐变功能
该modelGradients辅助函数需要dlnetwork目的dlnet和一小批输入数据DLX与相应的标签ÿ，返回损耗和损失相对于在梯度的可学习参数dlnet。自动计算梯度，使用dlgradient功能。
功能[gradient,loss] = modelGradients(dlnet,dlX,Y);dlYPred = softmax (dlYPred);损失= crossentropy (dlYPred Y);梯度= dlgradient(损失、dlnet.Learnables);结束
输入参数
输出参数
更多关于
扩展功能
介绍了在R2019b
您还可以选择从下面的列表中的网站：
