minibatchqueue
创建mini-batches深度学习
描述
使用一个minibatchqueue对象的创建、数据的预处理和管理mini-batches培训使用自定义循环。
一个minibatchqueue对象遍历数据存储在一个合适的格式提供数据训练使用自定义训练循环。的对象准备队列mini-batches预处理的需求。使用一个minibatchqueue自动将数据转换为对象dlarray或gpuArray,将数据转换成不同的精度,或应用自定义函数对数据进行预处理。你可以准备你的数据在后台并行。
在培训期间,您可以使用管理你的数据minibatchqueue对象。可以调整数据的每个时代使用培训洗牌功能和收集数据从队列中为每个迭代使用培训下一个函数。你可以检查任何数据队列中使用hasdata功能,重置队列是空的。
创建
描述
兆贝可= minibatchqueue (ds,numOutputs)minibatchqueue从输入数据存储对象ds在每个mini-batch并设置变量的数量。当你使用使用这个语法MiniBatchFcn指定一个mini-batch预处理功能有不同数量的输出比输入数据存储的变量的数量ds。
兆贝可= minibatchqueue (___、名称、值)minibatchqueue (ds,“MiniBatchSize ", 64年,“PartialMiniBatches”、“丢弃”)返回mini-batches的大小设置为64,丢弃任何mini-batches只有不到64年的观察。
输入参数
属性
对象的功能
例子
定制培训准备Mini-Batches循环
使用一个minibatchqueue对象自动mini-batches图像和分类标签准备培训在一个定制的循环。
创建一个数据存储。调用读在auimds生成一个表有两个变量:输入,包含图像数据响应,包含相应的分类标签。
auimds = augmentedImageDatastore ([100 - 100], digitDatastore);=阅读(auimds);头(2)
ans =输入响应售予________ {100×100 uint8} {100×100 uint8} 0
创建一个minibatchqueue对象从auimds。设置MiniBatchSize财产256年。
的minibatchqueue对象有两个输出变量:图像和分类的标签输入和响应的变量auimds,分别。设置minibatchqueue作为格式化对象返回图像dlarray在GPU上。单通道图像的黑白图像。添加一个单通道尺寸通过应用格式“SSBC”批处理。作为一个非返回标签dlarray在CPU上。
兆贝可= minibatchqueue (auimds,…“MiniBatchSize”,256,…“OutputAsDlarray”(1,0),…“MiniBatchFormat”,{“SSBC”,”},…“OutputEnvironment”,{“图形”,“cpu”})
使用下一个函数获取mini-batches兆贝可。
(X, Y) =下一个(兆贝可);
使用自定义创建Mini-Batches预处理功能和后台调度
预处理数据使用minibatchqueue与一个定制mini-batch预处理功能。自定义函数重新调节传入的图像数据在0和1之间,并计算平均图像。
解压缩数据和创建一个数据存储。
解压缩(“MerchData.zip”);imd = imageDatastore (“MerchData”,…IncludeSubfolders = true,…LabelSource =“foldernames”);
创建一个minibatchqueue。
设置输出的数量
2,以匹配函数的输出。设置mini-batch大小。
预处理数据使用自定义函数
preprocessMiniBatch定义在这个例子。自定义函数将图像数据连接到一个数值数组,0和1之间的重新调节图像,计算图像的批量的平均值。函数返回的新批图像和平均图像。应用预处理功能在后台使用并行池通过设置
DispatchInBackground财产真正的。设置DispatchInBackground来真正的需要并行计算工具箱™。不将mini-batch输出变量转换成
dlarray。
兆贝可= minibatchqueue (imd 2…MiniBatchSize = 16,…MiniBatchFcn = @preprocessMiniBatch,…DispatchInBackground = true,…OutputAsDlarray = false)
兆贝可= minibatchqueue 2输出和属性:Mini-batch创造:MiniBatchSize: 16 PartialMiniBatch:“返回”MiniBatchFcn: @preprocessMiniBatch DispatchInBackground: 1输出:OutputCast:{“单”“单身”}OutputAsDlarray: [0 0] MiniBatchFormat: {"} OutputEnvironment:{'汽车' '汽车'}
如果您使用的是DispatchInBackground和一个平行池不是已经打开,当地平行池将自动从mini-batch队列读取数据时开放。如果你的预处理功能是支持一个线程环境,开放并行线程池减少内存使用,更万博1manbetx快的调度,降低数据传输成本。有关更多信息,请参见在线程之间进行选择和基于流程的环境(并行计算工具箱)。
parpool (“线程”);
开始平行池(parpool)使用“线程”概要文件…连接到平行池(工人数量:4)。
获得一个mini-batch和显示图像的平均mini-batch。一线工人应用预处理功能。
[X, averageImage] =下一个(兆贝可);imshow (averageImage)
函数[X, averageImage] = preprocessMiniBatch(伊势亚)X =猫(4,伊势亚{:});X =重新调节(X, InputMin = 0, InputMax = 255);averageImage =意味着(X, 4);结束
使用minibatchqueue在定制培训循环
训练一个网络使用minibatchqueue管理mini-batches的处理。
负荷训练数据
加载数字训练数据,并将数据存储在数据存储中。创建一个数据存储的图像,一个用于标签使用arrayDatastore。然后,结合生产数据存储一个数据存储使用minibatchqueue。
[XTrain, YTrain] = digitTrain4DArrayData;dsX = arrayDatastore (XTrain IterationDimension = 4);dsY = arrayDatastore (YTrain);dsTrain =结合(dsX dsY);
确定独特的类标签的数据的数量。
类=类别(YTrain);numClasses =元素个数(类);
定义网络
定义网络和使用指定图像的平均价值的意思是选择在图像输入层。
28层= [imageInputLayer([28 1],意思= (XTrain 4) convolution2dLayer (5、20) reluLayer convolution2dLayer(3、20、填充= 1)reluLayer convolution2dLayer(3、20、填充= 1)reluLayer fullyConnectedLayer (numClasses) softmaxLayer];lgraph = layerGraph(层);
创建一个dlnetwork对象的层图。
网= dlnetwork (lgraph);
定义模型损失函数
创建一个helper函数modelLoss最后,列出的例子。该函数作为输入dlnetwork对象净和mini-batch输入数据X与相应的标签Y,并返回损失和损失的梯度对可学的参数净。
指定培训选项
培训期间指定要使用的选项。
numEpochs = 10;miniBatchSize = 128;
可视化培训进展阴谋。
情节=“训练进步”;
创建minibatchqueue
使用minibatchqueue处理和管理mini-batches图像。为每个mini-batch:
丢弃部分mini-batches。
使用自定义mini-batch预处理功能
preprocessMiniBatch(在这个例子中定义)一个炎热的编码类标签。格式的图像数据维度标签
“SSCB”(空间、空间、通道、批)。默认情况下,minibatchqueue把数据转换为对象dlarray与底层数据对象类型单。不格式添加到类的标签。火车在GPU如果一个是可用的。默认情况下,
minibatchqueue将每个输出转换为对象gpuArray如果一个GPU是可用的。使用GPU需要并行计算工具箱™和支持GPU设备。万博1manbetx支持设备的信息,请参阅万博1manbetxGPU计算的需求(并行计算工具箱)。
兆贝可= minibatchqueue (dsTrain,…MiniBatchSize = MiniBatchSize,…PartialMiniBatch =“丢弃”,…MiniBatchFcn = @preprocessMiniBatch,…MiniBatchFormat = [“SSCB”,”“]);
列车网络的
火车模型使用自定义训练循环。对于每一个时代,洗牌数据和遍历mini-batches数据仍然是可用的minibatchqueue。更新网络参数使用adamupdate函数。在每个时代,显示培训进展。
初始化平均梯度和的平方平均梯度。
averageGrad = [];averageSqGrad = [];
计算迭代的总数的培训进度监控。
numObservationsTrain =元素个数(YTrain);numIterationsPerEpoch =装天花板(numObservationsTrain / miniBatchSize);numIterations = numEpochs * numIterationsPerEpoch;
初始化TrainingProgressMonitor对象。因为计时器开始创建监视器对象时,确保你创建对象接近的训练循环。
如果情节= =“训练进步”监控= = trainingProgressMonitor(指标“损失”信息=“时代”包含=“迭代”);结束
培训网络。
迭代= 0;时代= 0;而时代< numEpochs & & ~班长。停止时代=时代+ 1;%洗牌数据。洗牌(兆贝可);而hasdata(兆贝可)& & ~班长。停止迭代=迭代+ 1;% mini-batch读取的数据。(X, Y) =下一个(兆贝可);%计算模型和梯度使用dlfeval损失% modelLoss helper函数。(损失、研究生)= dlfeval (@modelLoss净,X, Y);%更新使用亚当优化网络参数。[净,averageGrad averageSqGrad] = adamupdate(网络,毕业生,averageGrad averageSqGrad,迭代);%更新培训进度监控。如果情节= =“训练进步”recordMetrics(监控、迭代损失=损失);updateInfo(监视、时代=时代+“的”+ numEpochs);班长。进步= 100 *迭代/ numIterations;结束结束结束
损失函数模型
的modelLoss辅助函数作为输入dlnetwork对象净和mini-batch输入数据X与相应的标签Y,并返回损失和损失的梯度对可学的参数净。自动计算梯度,使用dlgradient函数。
函数(损失,梯度)= modelLoss(净,X, Y) YPred =向前(净,X);损失= crossentropy (YPred Y);梯度= dlgradient(损失、net.Learnables);结束
Mini-Batch预处理功能
的preprocessMiniBatch使用以下步骤:预处理数据函数
从传入的单元阵列中提取图像数据和将数据连接到一个数字数组。连接图像数据在四维空间增加了一个三维图像,作为单通道尺寸。
从传入单元阵列提取标签数据和连接第二个维度分类数组。
一个炎热的分类标签编码成数字数组。编码的第一个维度产生一个相匹配的形状编码阵列网络输出。
函数(X, Y) = preprocessMiniBatch(伊势亚YCell)%从细胞中提取图像数据阵列和连接在第四%维度添加第三单维度,通道%的维度。猫(X = 4,伊势亚{:});%从细胞中提取标签数据和连接。Y =猫(2,YCell {:});%一个炎热的编码标签。Y, Y = onehotencode (1);结束
版本历史
介绍了R2020b
