列车网络的使用自定义训练循环

这个例子展示了如何训练网络,把手写的数字和一个定制的学习速率的时间表。

你可以训练使用的大多数类型的神经网络trainNetwork和trainingOptions功能。如果trainingOptions函数不提供你需要的选项(例如,一个定制的学习速率的时间表),然后你可以定义自己的自定义训练循环使用dlarray和dlnetwork对象自动分化。为一个例子,演示如何培训pretrained深学习网络使用trainNetwork功能,请参阅学习使用Pretrained网络传输。

训练一个深层神经网络是一种优化的任务。通过考虑一个神经网络作为一个函数 $$f(X;\theta )$$,在那里 $$X$$网络的输入, $$\theta$$可学的参数集,您可以优化吗 $$\theta$$减少一些损失值基于训练数据。例如,优化可学的参数 $$\theta$$这样,对于一个给定的输入 $$X$$与相应的目标 $$T$$,他们之间的误差最小化预测 $$Y=f(X;\theta )$$和 $$T$$。

取决于使用的损失函数类型的任务。例如:

您可以使用梯度下降优化目标:最小化损失 $$l$$通过迭代更新可学的参数 $$\theta$$通过采取措施对最小使用渐变的损失对可学的参数。梯度下降算法更新可学的参数通常使用的更新一步的变体形式 $${\theta }_{t+1}={\theta }_t-\; -\; -\; -\; -\; -\rho \nabla l$$,在那里 $$t$$是迭代数, $$\rho$$是学习速率, $$\nabla l$$表示渐变(衍生品的损失对可学的参数)。

这个例子列车网络分类手写数字的基于时间的衰减学习速率的时间表:对于每一次迭代,求解器使用的学习速率 ${\rho }_{\mathit{t}}=\frac{{\rho }_0}{1+\mathit{k}\mathit{t}}$,在那里t是迭代数, $${\rho }_0$$最初的学习速率,k是衰减的。

dataFolder = fullfile (toolboxdir (“nnet”),“nndemos”,“nndatasets”,“DigitDataset”);imd = imageDatastore (dataFolder,…IncludeSubfolders = true,…。LabelSource =“foldernames”);

[imdsTrain, imdsValidation] = splitEachLabel (imd, 0.9,“随机”);

inputSize = [28 28 1];pixelRange = 5 [5];imageAugmenter = imageDataAugmenter (…RandXTranslation = pixelRange,…RandYTranslation = pixelRange);augimdsTrain = augmentedImageDatastore (inputSize (1:2), imdsTrain, DataAugmentation = imageAugmenter);

augimdsValidation = augmentedImageDatastore (inputSize (1:2), imdsValidation);

类=类别(imdsTrain.Labels);numClasses =元素个数(类);

层= [imageInputLayer (inputSize正常化=“没有”)convolution2dLayer(5、20、填充=“相同”)batchNormalizationLayer reluLayer convolution2dLayer(3、20、填充=“相同”)batchNormalizationLayer reluLayer convolution2dLayer(3、20、填充=“相同”)batchNormalizationLayer reluLayer fullyConnectedLayer (numClasses) softmaxLayer];

净= dlnetwork(层)

网= dlnetwork属性:层:[12×1 nnet.cnn.layer.Layer]连接:[11×2表]可学的:[14×3表]状态:[6×3表]InputNames: {“imageinput”} OutputNames: {“softmax”}初始化:1观点总结总结。

numEpochs = 10;miniBatchSize = 128;

initialLearnRate = 0.01;衰变= 0.01;动量= 0.9;

兆贝可= minibatchqueue (augimdsTrain,…MiniBatchSize = MiniBatchSize,…MiniBatchFcn = @preprocessMiniBatch,…MiniBatchFormat = [“SSCB””“]);

速度= [];

numObservationsTrain =元素个数(imdsTrain.Files);numIterationsPerEpoch =装天花板(numObservationsTrain / miniBatchSize);numIterations = numEpochs * numIterationsPerEpoch;

监控= = trainingProgressMonitor(指标“损失”信息= (“时代”,“LearnRate”),包含=“迭代”);

时代= 0;迭代= 0;%循环时期。而时代< numEpochs & & ~班长。停止时代=时代+ 1;%洗牌数据。洗牌(兆贝可);%在mini-batches循环。而hasdata(兆贝可)& & ~班长。停止迭代=迭代+ 1;% mini-batch读取的数据。[X, T] =下一个(兆贝可);%评估模型梯度、州和使用dlfeval和损失% modelLoss功能和更新网络状态。(损失、渐变、状态)= dlfeval (@modelLoss,净,X, T);网。=状态;%确定为基于时间的学习速率衰减学习速率的时间表。learnRate = initialLearnRate /(1 +衰变*迭代);%更新使用个优化网络参数。(净、速度)= sgdmupdate(净、渐变速度,learnRate动量);%更新培训进度监控。recordMetrics(监控、迭代损失=损失);updateInfo(监控、时代=时代LearnRate = LearnRate);班长。进步= 100 *迭代/ numIterations;结束结束

numOutputs = 1;mbqTest = minibatchqueue (augimdsValidation numOutputs,…MiniBatchSize = MiniBatchSize,…MiniBatchFcn = @preprocessMiniBatchPredictors,…MiniBatchFormat =“SSCB”);

欧美= modelPredictions(净、mbqTest、类);

tt = imdsValidation.Labels;精度=意味着(tt = =次)

精度= 0.9750

次图confusionchart (tt)

函数(损失、渐变、状态)= modelLoss(净,X, T)%通过网络转发数据。[Y,状态]=前进(净,X);%计算熵的损失。损失= crossentropy (Y, T);%计算梯度的损失对可学的参数。梯度= dlgradient(损失、net.Learnables);结束

函数Y = modelPredictions(净、兆贝可类)Y = [];%在mini-batches循环。而hasdata(兆贝可)X =(兆贝可);%进行预测。成绩=预测(净,X);%解码标签和附加到输出。标签= onehotdecode(成绩、类1)';Y = [Y;标签);结束结束

函数[X, T] = preprocessMiniBatch (dataX人数()%预处理预测。X = preprocessMiniBatchPredictors (dataX);%从细胞中提取标签数据和连接。猫(T = 2,人数({1:结束});%一个炎热的编码标签。T = onehotencode (T, 1);结束

函数X = preprocessMiniBatchPredictors (dataX)%连接。猫(X = 4, dataX{1:结束});结束

另请参阅

trainingProgressMonitor|dlarray|dlgradient|dlfeval|dlnetwork|向前|adamupdate|预测|minibatchqueue|onehotencode|onehotdecode

相关的话题

• 火车生成对抗网络(甘)
• 定义模型损失函数自定义训练循环
• 在定制培训循环更新批规范化统计
• 自定义训练循环,损失函数和网络
• 指定培训选项自定义训练循环
• 监控定制培训循环的进展
• 深度学习层的列表
• 与dlarray支持函数的列表万博1manbetx