convGradients功能

该convGradients辅助函数使用卷积运算的可以学习的参数和一个小批量的输入数据的DLX，并返回梯度相对于所述可学习参数。

功能梯度= convGradients（DLX，则params）DLY = dlconv（DLX，params.Weights，params.Bias）;DLY =总和（DLY，'所有'）;梯度= dlgradient（DLY，则params）;结束

负荷训练数据

负荷训练数据的位数。

[XTrain，YTrain] = digitTrain4DArrayData;类=类别（YTrain）;numClasses = numel（类）;

定义网络

定义网络架构，并使用指定的平均图像价值'意思'选项，在图像输入层。

层= [imageInputLayer（[28 28 1]，'名称'，“输入”，'意思'，平均值（XTrain，4））convolution2dLayer（5,20，'名称'，'CONV1'）reluLayer（'名称'，'relu1'）convolution2dLayer（3,20，'填充'1，'名称'，'CONV2'）reluLayer（'名称'，'relu2'）convolution2dLayer（3,20，'填充'1，'名称'，'conv3'）reluLayer（'名称'，'relu3'）fullyConnectedLayer（numClasses，'名称'，'FC'）];lgraph = layerGraph（层）;

创建一个dlnetwork从该层图形对象。

dlnet = dlnetwork（lgraph）;

定义模式渐变功能

创建辅助功能modelGradients在本实施例的末尾列出。该功能需要一个dlnetwork目的dlnet和小批量的输入数据的DLX与相应的标签ÿ，返回损耗和损失相对于在梯度的可学习参数dlnet。

定义随机梯度下降功能

创建辅助功能sgdFunction在本实施例的末尾列出。该函数PARAM和paramGradient中，可学习参数和损失相对于该参数，分别与返回更新的参数使用随机梯度下降算法的梯度，表示为

哪里 $\mathit{升}$是迭代次数， $\alpha >0$是学习率， $\theta$是参数向量，并 $\mathit{Ë}（\theta ）$是损失函数。

指定培训选项

指定培训期间要使用的选项。

miniBatchSize = 128;numEpochs = 20;numObservations = numel（YTrain）;numIterationsPerEpoch =地板（numObservations./miniBatchSize）;

在GPU上火车，如果可用。使用GPU需要并行计算工具箱™和启用CUDA®GPUNVIDIA®计算能力3.0或更高版本。

执行环境=“汽车”;

初始化速度参数。

learnRate = 0.001;

初始化训练进度情节。

地块=“训练进度”;如果地块==“训练进度”迭代= 1;图lineLossTrain = animatedline;xlabel（“总迭代”）ylabel（“失利”）结束

列车网络

培养使用自定义的训练循环模型。对于每一个时代，洗牌对数据的小批量数据和循环。更新通过调用网络参数dlupdate与功能sgdFunction在本实施例的端部限定。在每个历元的端部，显示训练进度。

对于历元= 1：numEpochs％随机数据。IDX = randperm（numel（YTrain））;XTrain = XTrain（：，：，：，IDX）;YTrain = YTrain（IDX）;对于I = 1：numIterationsPerEpoch数据的读％小批量和转换标签哑％变量。IDX =（I-1）* miniBatchSize + 1：我* miniBatchSize;X = XTrain（：，：，：，IDX）;Y =零（numClasses，miniBatchSize，'单'）;对于C = 1：numClasses Y（C，YTrain（IDX）==类（C））= 1;结束％转换小批量数据的dlarray。DLX = dlarray（单（X），'SSCB'）;％如果在GPU上训练，然后数据转换为gpuArray。如果（执行环境==“汽车”&& canUseGPU）||执行环境==“GPU”DLX = gpuArray（DLX）;结束％评估模型梯度和损失使用dlfeval和％modelGradients助手功能。[毕业，损耗] = dlfeval（@ modelGradients，dlnet，DLX，Y）;％更新使用SGD算法的网络参数中所定义的％sgdFunction助手功能。dlnet = dlupdate（@ sgdFunction，dlnet，毕业）;％显示训练进度。如果地块==“训练进度”addpoints（lineLossTrain，迭代，双（聚（ExtractData由（亏损））））标题（“损失训练期间：时代 - ”+划时代+“迭代 - ”+ I）的DrawNow迭代=迭代+ 1;结束结束结束

测试网络

通过在测试集与真标签的预测比较测试模型的分类精度。

[XTEST，YTest] = digitTest4DArrayData;

转换数据到dlarray与尺寸格式'SSCB'。对于GPU的预测，也将数据转换为gpuArray。

dlXTest = dlarray（XTEST，'SSCB'）;如果（执行环境==“汽车”&& canUseGPU）||执行环境==“GPU”dlXTest = gpuArray（dlXTest）;结束

要使用图像分类dlnetwork对象，请使用预测工作，并找到得分最高的类。

dlYPred =预测（dlnet，dlXTest）;[〜，IDX] = MAX（ExtractData由（dlYPred），[]，1）;YPred =类（IDX）;

评估分类精度。

精度=平均值（YPred == YTest）

精度= 0.7282

型号渐变功能

助手功能modelGradients需要dlnetwork目的dlnet和小批量的输入数据的DLX与相应的标签ÿ，返回损耗和损失相对于在梯度的可学习参数dlnet。自动计算梯度，使用dlgradient功能。

功能[梯度，损耗] = modelGradients（dlnet，DLX，Y）= dlYPred向前（dlnet，DLX）;dlYPred = SOFTMAX（dlYPred）;损耗= crossentropy（dlYPred，Y）;梯度= dlgradient（损失，dlnet.Learnables）;结束

随机梯度下降功能

助手功能sgdFunction需要PARAM和paramGradient中，可学习参数和损失相对于分别该参数的梯度，并返回使用随机梯度下降算法更新的参数，表示为

哪里 $\mathit{升}$是迭代次数， $\alpha >0$是学习率， $\theta$是参数向量，并 $\mathit{Ë}（\theta ）$是损失函数。

功能PARAM = sgdFunction（PARAM，paramGradient）learnRate = 0.01;。PARAM =参数 -  learnRate * paramGradient;结束