adamupdate
使用自适应矩估计更新参数(Adam)
语法
描述
使用自适应矩估计(Adam)算法更新自定义训练循环中的网络可学习参数。
请注意
该函数应用Adam优化算法来更新自定义训练循环中的网络参数，该循环使用定义为的网络dlnetwork对象或模型函数。如果你想训练一个定义为a的网络层数组或作为LayerGraph，使用以下函数:
创建一个
TrainingOptionsADAM对象使用trainingOptions函数。使用
TrainingOptionsADAM对象的trainNetwork函数。
［更新网络的可学习参数netUpdated，averageGrad，averageSqGrad= adamupdate(网，研究生，averageGrad，averageSqGrad，迭代）网使用亚当算法。在训练循环中使用此语法可迭代更新定义为的网络dlnetwork对象。
［中更新可学习参数参数个数，averageGrad，averageSqGrad= adamupdate(参数个数，研究生，averageGrad，averageSqGrad，迭代）参数个数使用亚当算法。在训练循环中使用此语法迭代更新使用函数定义的网络的可学习参数。
［___= adamupdate(___还指定用于全局学习率、梯度衰减、平方梯度衰减和小常数epsilon的值，以及前面语法中的输入参数。learnRate，gradDecay，sqGradDecay，ε）
例子
使用更新可学习参数adamupdate
执行单个自适应时刻估计更新步骤，全局学习率为0.05的梯度衰减因子０．７５的梯度衰减因子平方0.95．
将参数和参数梯度创建为数值数组。
Params = rand(3,3,4);Grad = ones(3,3,4);
初始化第一次迭代的迭代计数器、平均梯度和平均梯度平方。
迭代= 1;averageGrad = [];averageSqGrad = [];
指定全局学习率、梯度衰减因子和平方梯度衰减因子的自定义值。
learnRate = 0.05;gradDecay = 0.75;sqGradDecay = 0.95;
使用更新可学习参数adamupdate．
[params,averageGrad,averageSqGrad] = adamupdate(params,grad,averageGrad,averageSqGrad,iteration,learnRate,gradDecay,sqGradDecay);
更新迭代计数器。
迭代=迭代+ 1;
列车网络使用adamupdate
使用adamupdate用亚当算法训练一个网络。
负荷训练数据
加载数字训练数据。
[XTrain,TTrain] = digitTrain4DArrayData;类=类别(TTrain);numClasses = nummel(类);
定义网络
属性定义网络并指定平均图像值的意思是选项在图像输入层。
图层= [imageInputLayer([28 28 1]，“的意思是”reluLayer卷积2dlayer (3,20)，“填充”，1) relullayer卷积2dlayer (3,20，“填充”，1) reluLayer fullyConnectedLayer(numClasses) softmaxLayer];
创建一个dlnetwork对象。
Net = dlnetwork(layers);
定义模型损失函数
创建helper函数modelLoss，在示例的末尾列出。函数的参数为dlnetwork对象和带有相应标签的小批输入数据，并返回损失和损失相对于可学习参数的梯度。
指定培训项目
指定在培训期间使用的选项。
miniBatchSize = 128;numEpochs = 20;numObservations = numel(TTrain);numIterationsPerEpoch = floor(numObservations./miniBatchSize);
列车网络的
初始化平均梯度和平均梯度的平方。
averageGrad = [];averageSqGrad = [];
计算训练进度监控器的总迭代次数。
numIterations = nummepochs * numIterationsPerEpoch;
初始化TrainingProgressMonitor对象。因为计时器在创建监视器对象时开始，所以请确保创建的对象接近训练循环。
monitor = trainingProgressMonitor(指标=“损失”信息=“时代”包含=“迭代”）;
使用自定义训练循环训练模型。对于每个纪元，洗牌数据并在小批量数据上循环。方法更新网络参数adamupdate函数。在每次迭代结束时，显示训练进度。
在GPU上训练(如果有的话)。使用GPU需要并行计算工具箱™和受支持的GPU设备。万博1manbetx有关受支持设备的信息，请参见万博1manbetxGPU计算要求(并行计算工具箱)．
迭代= 0;Epoch = 0;而epoch < numEpochs && ~monitor。停止epoch = epoch + 1;% Shuffle数据。idx = randperm(数字(TTrain));XTrain = XTrain(:，:，:，idx);TTrain = TTrain(idx);I = 0;而i < numIterationsPerEpoch && ~monitor。Stop i = i + 1;迭代=迭代+ 1;读取小批数据并将标签转换为虚拟标签%变量。idx = (i-1)*miniBatchSize+1:i*miniBatchSize;X = XTrain(:，:，:，idx);T = 0 (numClasses, miniBatchSize，“单身”）;为T(c,TTrain(idx)==classes(c)) = 1;结束将小批数据转换为大数组。X = dlarray(single(X)，“SSCB”）;如果在GPU上训练，则将数据转换为gpuArray。如果canUseGPU X = gpuArray(X);结束计算模型损失和梯度使用dlfeval和% modelLoss函数。[loss,gradients] = dlfeval(@modelLoss,net,X,T);使用Adam优化器更新网络参数。。[net,averageGrad,averageSqGrad] = adamupdate(net,gradients,averageGrad,averageSqGrad,iteration);更新培训进度监视器。recordMetrics(监控、迭代损失=损失);updateInfo(监视、时代=时代+“的”+ numEpochs);班长。进度= 100 * iteration/numIterations;结束结束
测试网络
通过比较测试集上的预测与真实标签来测试模型的分类准确性。
[XTest,TTest] = digitTest4DArrayData;
将数据转换为adlarray使用维度格式“SSCB”(空间，空间，通道，批次)。对于GPU预测，也将数据转换为agpuArray．
XTest = dlarray(XTest，“SSCB”）;如果canUseGPU XTest = gpuArray(XTest);结束
对图像进行分类dlnetwork对象时，使用预测计算并找出得分最高的课程。
YTest =预测(net,XTest);[~，idx] = max(extractdata(YTest)，[]，1);YTest = classes(idx);
评估分类准确率。
精度=平均值(YTest==TTest)
准确度= 0.9896
模型损失函数
的modelLossHelper函数接受dlnetwork对象网和一小批输入数据X有相应的标签T，并返回损失以及损失相对于中可学习参数的梯度网．要自动计算梯度，请使用dlgradient函数。
函数[loss,gradients] = modelLoss(net,X,T) Y = forward(net,X);损失=交叉熵(Y,T);gradients = dlgradient(loss,net.Learnables);结束
输入参数
输出参数
更多关于
扩展功能
版本历史
R2019b引入
您也可以从以下列表中选择一个网站: