rmspropupdate
使用均方根传播更新参数（RMSProp）
句法
描述
使用均方根传播(RMSProp)算法在自定义训练循环中更新网络可学习参数。
注意
此功能适用的RMSProp优化算法来更新网络参数定制培训循环，即利用网络定义为dlnetwork对象或模型函数。如果你想训练定义为一个网络层数组或者LayerGraph，可使用以下功能:
创建一个
TrainingOptionsRMSProp对象使用trainingOptions函数。
[更新网络的可学习参数dlnet，averageSqGrad) = rmspropupdate (dlnet，研究生，averageSqGrad）dlnet使用RMSProp算法。在训练循环中使用此语法迭代地更新定义为dlnetwork对象。
[中的可学习参数更新PARAMS，averageSqGrad) = rmspropupdate (PARAMS，研究生，averageSqGrad）PARAMS使用RMSProp算法。在训练循环中使用此语法迭代地更新使用函数定义的网络的可学习参数。
[___) = rmspropupdate (___除了前面语法中的输入参数之外，还指定了用于全局学习率、平方梯度衰减和小常数的值。learnRate，sqGradDecay，ε）
例子
使用更新可学习参数rmspropupdate
执行与全球学习率单均方根传播更新步骤0.05的梯度衰减因子的平方0.95。
创建的参数和参数的梯度为数字阵列。
params =兰德(3、3、4);研究生= 1(3、3、4);
初始化对于第一次迭代的均方梯度。
averageSqGrad = [];
为全局学习率和梯度平方衰减因子指定自定义值。
learnRate = 0.05;sqGradDecay = 0.95;
更新使用可学习的参数rmspropupdate。
[参数，可以averageSqGrad] = rmspropupdate（参数，可以为研究所，averageSqGrad，learnRate，sqGradDecay）;
使用以下方法训练网络rmspropupdate
使用rmspropupdate使用均方根传播(RMSProp)算法训练网络。
负荷训练数据
加载数字训练数据。
[XTrain，YTrain] = digitTrain4DArrayData;类=类别（YTrain）;numClasses = numel（类）;
定义网络
定义网络架构，并使用指定的平均图像价值“的意思是”选项在图像输入层。
[imageInputLayer([28 28 1])，'名称'，“输入”，“的意思是”意味着(XTrain 4)) convolution2dLayer(5年,20年'名称'，“conv1”）reluLayer（'名称'，“relu1”20岁的)convolution2dLayer (3“填充”, 1'名称'，'CONV2'）reluLayer（'名称'，“relu2”20岁的)convolution2dLayer (3“填充”, 1'名称'，“conv3”）reluLayer（'名称'，“relu3”) fullyConnectedLayer (numClasses'名称'，“俱乐部”）softmaxLayer（'名称'，“softmax”));lgraph = layerGraph(层);
创建一个dlnetwork对象从层图。
dlnet = dlnetwork（lgraph）;
定义模型梯度函数
创建助手函数modelGradients，在示例的最后列出。函数接受dlnetwork目的dlnet和一小批输入数据DLX与相应的标签ÿ，返回损耗和损失相对于在梯度的可学习参数dlnet。
指定培训选项
指定在培训期间使用的选项。
miniBatchSize = 128;numEpochs = 20;numObservations =元素个数(YTrain);numIterationsPerEpoch =地板(numObservations. / miniBatchSize);
在GPU上进行训练，如果有的话。使用GPU需要Parallel Computing Toolbox™和支持CUDA®的NVIDIA®GPU，计算能力为3.0或更高。
执行环境=“汽车”;
在可视化情节的训练进度。
地块=“训练进步”;
列车网络
使用自定义训练循环训练模型。对于每个纪元，洗牌数据和循环数据的小批。属性更新网络参数rmspropupdate函数。在每个阶段结束时，显示训练进度。
初始化训练进度图。
如果情节= =“训练进步”图形lineLossTrain = animatedline(“颜色”，[0.85 0.325 0.098]）;ylim（[0 INF]）xlabel（“迭代”) ylabel (“失利”网格)在结束
初始化平方平均梯度。
averageSqGrad = [];
训练网络。
迭代= 0;开始=抽搐;对于时代= 1:numEpochs%洗牌数据。idx = randperm(元素个数(YTrain));XTrain = XTrain (:,:,:, idx);YTrain = YTrain (idx);对于i = 1:numIterationsPerEpoch iteration = iteration + 1;数据的读％小批量和转换标签哑％变量。IDX =（I-1）* miniBatchSize + 1：我* miniBatchSize;X = XTrain（：，：，：，IDX）;Y =零（numClasses，miniBatchSize，“单一”);对于C = 1：numClasses Y（C，YTrain（IDX）==类（C））= 1;结束％转换小批量数据到dlarray的。DLX = dlarray（单（X），“SSCB”);％如果在GPU上训练，然后数据转换为gpuArray。如果(executionEnvironment = =“汽车”&& canUseGPU）||执行环境==“图形”dlX = gpuArray (dlX);结束%使用dlfeval和the评估模型梯度和损失％modelGradients助手功能。(渐变,亏损)= dlfeval (@modelGradients, dlnet dlX Y);%使用RMSProp优化器更新网络参数。[dlnet, averageSqGrad] = rmspropupdate (dlnet、渐变averageSqGrad);％显示训练进度。如果情节= =“训练进步”D =持续时间(0,0,toc(开始),“格式”，“hh: mm: ss”);addpoints (lineLossTrain、迭代、双(收集(extractdata(损失))))标题(”时代:“+划时代+“消逝”+ drawnow字符串(D))结束结束结束
测试网络
通过比较测试集上的预测值和真实标签来测试模型的分类精度。
[XTest, YTest] = digitTest4DArrayData;
将数据转换为dlarray与尺寸格式“SSCB”。对于GPU的预测，也将数据转换为gpuArray。
dlXTest = dlarray（XTEST，“SSCB”);如果(executionEnvironment = =“汽车”&& canUseGPU）||执行环境==“图形”dlXTest = gpuArray (dlXTest);结束
使用a对图像进行分类dlnetwork对象,使用预测函数并找到得分最高的类。
dlYPred =预测（dlnet，dlXTest）;[〜，IDX] = MAX（ExtractData由（dlYPred），[]，1）;YPred =类（IDX）;
评估分类精度。
精度=平均值（YPred == YTest）
精度= 0.9860
模型梯度函数
辅助函数modelGradients需要一个dlnetwork目的dlnet和一小批输入数据DLX与相应的标签Y,并返回损耗和损失相对于在梯度的可学习参数dlnet。自动计算梯度，使用dlgradient函数。
函数[gradient,loss] = modelGradients(dlnet,dlX,Y);损失= crossentropy (dlYPred Y);梯度= dlgradient(损失、dlnet.Learnables);结束
输入参数
输出参数
更多关于
兼容性的考虑
扩展功能
您也可以从以下列表中选择一个网站:
