sgdmupdate
使用随机动量梯度下降(SGDM)更新参数
语法
描述
在自定义训练循环中使用随机梯度动量下降(SGDM)算法更新网络可学习参数。
请注意
此功能适用于SGDM优化算法以更新使用定义为的网络的自定义培训循环中的网络参数dlnetwork对象或模型函数。如果你想训练一个网络定义为层数组或作为一个LayerGraph，使用以下功能：
创建一个
TrainingOptionsSGDM.对象使用培训选项函数。使用
TrainingOptionsSGDM.对象的trainNetwork函数。
例子
使用可学习参数使用sgdmupdate
以全局学习率执行单个SGDM更新步骤0．05和动量的0.95．
将参数和参数梯度创建为数字数组。
Params = Rand（3,3,4）;毕业=那些（3,3,4）;
初始化第一次迭代的参数速度。
韦尔= [];
为全局学习率和势头指定自定义值。
学习= 0.05;动量= 0.95;
使用sgdmupdate．
(params,韦尔)= sgdmupdate (params,研究生,或者,learnRate,动量);
列车网络的使用sgdmupdate
采用sgdmupdate使用SGDM算法训练网络。
负载培训数据
加载数字训练数据。
[XTrain, YTrain] = digitTrain4DArrayData;类=类别(YTrain);numClasses =元素个数(类);
定义网络
定义网络架构并指定图像平均值“的意思是”选项在图像输入层。
[imageInputLayer([28 28 1]，])，“名字”，“输入”，“的意思是”意味着(XTrain 4)) convolution2dLayer(5年,20年“名字”，'conv1') reluLayer (“名字”，“relu1”）卷积2dlayer（3,20，“填充”, 1“名字”，“conv2”) reluLayer (“名字”，'relu2'）卷积2dlayer（3,20，“填充”, 1“名字”，“conv3”) reluLayer (“名字”，'relu3'）全连接列（numcrasses，“名字”，'fc'）];Lgraph = LayerGraph（层）;
创建一个dlnetwork对象从层图。
dlnet = dlnetwork (lgraph);
定义模型梯度函数
创建helper函数modelGradients，列在示例的末尾。该功能需要一个dlnetwork对象DLNET.和迷你批次输入数据dlX与相应的标签Y，并返回损失和损失相对于中可学习参数的梯度DLNET.．
指定培训选项
指定在培训期间使用的选项。
minibatchsize = 128;numepochs = 20;numobservations = numel（ytrain）;numiterationsperepoch = bloor（numobservation./minibatchsize）;
在GPU上训练(如果有的话)。使用GPU需要并行计算工具箱™和支持CUDA®的NVIDIA®GPU，其计算能力为3.0或更高。
executionEnvironment =“汽车”；
初始化速度参数。
韦尔= [];
初始化培训进度情节。
情节=“培训 - 进展”；如果plots ==“培训 - 进展”迭代= 1;图线轴杆=动画线;Xlabel（“总迭代”）ylabel（“损失”）结束
列车网络的
使用自定义训练循环训练模型。对于每个epoch，将数据和循环扫描迷你批次数据。使用使用的网络参数更新网络参数sgdmupdate函数。在每个时代结束时，显示培训进度。
为epoch = 1：numepochs%洗牌数据。IDX = RANDPERM（NUMER（YTrain））;XTrain = XTrain（：，：，idx）;YTrain = Ytrain（IDX）;为i = 1：numitrationsperepoch读取小批数据，并将标签转换为假%变量。idx =(张)* miniBatchSize + 1:我* miniBatchSize;X = XTrain (:,:,:, idx);Y = 0 (numClasses, miniBatchSize，“单一”）;为c = 1:numClasses Y(c,YTrain(idx))==class (c)) = 1;结束将小批数据转换为元数据。dlX = dlarray(单(X),'SSCB'）;%如果在GPU上进行训练，则将数据转换为gpuArray。如果(executionEnvironment = =“汽车”&& canUseGPU) || executionEnvironment ==“GPU”DLX = GPUARRAY（DLX）;结束％使用dlfeval和dlfeval评估模型渐变和损失%模型梯度辅助功能。(研究生,亏损)= dlfeval (@modelGradients, dlnet dlX Y);％使用SGDM Optimizer更新网络参数。[dlnet,韦尔]= sgdmupdate (dlnet,研究生,韦尔);%显示训练进度。如果plots ==“培训 - 进展”addpoints (lineLossTrain、迭代、双(收集(extractdata(损失))))标题(《训练中的失落:时代-》+时代+“;迭代 - ”+ i) drawnow iteration = iteration + 1;结束结束结束
测试网络
通过比较真实标签的测试集上的预测来测试模型的分类准确性。
[XTest, YTest] = digitTest4DArrayData;
将数据转换为adlarray使用维度格式'SSCB'．对于GPU预测，也将数据转换为GPUArray.．
dlXTest = dlarray (XTest,'SSCB'）;如果(executionEnvironment = =“汽车”&& canUseGPU) || executionEnvironment ==“GPU”dlxtest = gpuarray（dlxtest）;结束
对图像进行分类dlnetwork对象,使用预测函数并找到最高分数的类。
dlYPred =预测(dlnet dlXTest);[~, idx] = max (extractdata (dlYPred), [], 1);YPred =类(idx);
评估分类精度。
精度=意味着(YPred = =次)
精度= 0.9914
模型梯度函数
的modelGradientsHelper函数接受dlnetwork对象DLNET.和迷你批次输入数据dlX与相应的标签Y，并返回损失和损失相对于中可学习参数的梯度DLNET.．要自动计算梯度，请使用dlgradient函数。
功能[梯度，损失] = MaposGRADENTERS（DLNET，DLX，Y）DLYPRED =前进（DLNET，DLX）;Dlypry = softmax（dlypred）;损失=联肾上腺素（Dlypred，Y）;梯度= DLGRADIET（损失，DLNET.LEALNABLE）;结束
输入参数
输出参数
更多关于
扩展能力
介绍了R2019b
您还可以从以下列表中选择一个网站：
