深度学习的数据存储- MATLAB & Simulink万博1manbetx - 万博1manbetx,s manbetx 845,万博尤文图斯

用于深度学习的数据存储

在MATLAB数据存储^®是一种处理和表示数据集合的方便方法，这些数据集合太大，一次无法装入内存。由于深度学习通常需要大量的数据，数据存储是MATLAB中深度学习工作流程的重要组成部分。

选择数据存储

对于许多应用程序来说，最简单的方法是从内置数据存储开始。有关可用的内置数据存储的更多信息，请参见选择文件格式或应用程序的数据存储。但是，只有某些类型的内置数据存储可以直接用作网络训练、验证和推断的输入。这些数据存储:

数据存储	描述	所需额外的工具箱
`ImageDatastore`	数据存储图像数据	没有一个
`AugmentedImageDatastore`	用于调整和增强训练图像的数据存储数据存储是不确定的	没有一个
`PixelLabelDatastore`(计算机视觉工具箱)	用于像素标签数据的数据存储	计算机视觉工具箱™
`PixelLabelImageDatastore`(计算机视觉工具箱)	用于训练语义分割网络的数据存储数据存储是不确定的	计算机视觉的工具箱
`boxLabelDatastore`(计算机视觉工具箱)	绑定框标签数据的数据存储	计算机视觉的工具箱
`RandomPatchExtractionDatastore`(图像处理工具箱)	用于从基于图像的数据中提取随机补丁的数据存储数据存储是不确定的	图像处理工具箱™
`bigimageDatastore`(图像处理工具箱)	用于管理内存中容纳不下的单个大映像块的数据存储	图像处理工具箱
`DenoisingImageDatastore`(图像处理工具箱)	用数据存储训练一个图像去噪的深度神经网络数据存储是不确定的	图像处理工具箱

其他内置数据存储可以用作深度学习的输入，但是从这些数据存储读取的数据必须被预处理成深度学习网络所需的格式。有关读取数据所需格式的更多信息，请参见用于训练、验证和推理的输入数据存储。有关如何对从数据存储读取的数据进行预处理的详细信息，请参见转换和合并数据存储。

对于某些应用程序，可能没有一个内置的数据存储类型适合您的数据。对于这些问题，您可以创建一个自定义数据存储。有关更多信息，请参见开发自定义数据存储。所有自定义数据存储都是深度学习接口的有效输入，只要读自定义数据存储函数以所需的形式返回数据。

用于训练、验证和推理的输入数据存储

数据存储是Deep Learning Toolbox™中用于培训、验证和推理的有效输入。

培训和验证

要使用图像数据存储作为训练数据的来源，请使用洛桑国际管理发展学院的观点trainNetwork。要使用所有其他类型的数据存储作为训练数据的来源，请使用ds的观点trainNetwork。要使用数据存储进行验证，请使用”ValidationData”中的名称-值对参数trainingOptions。

作为培训或验证的有效输入读数据存储的函数必须以单元格数组或表的形式返回数据(除了ImageDatastore可以输出数字数组的对象，以及必须输出表的定制小批量数据存储)。

对于只有单个输入的网络，数据存储返回的表或单元格数组必须有两列。第一列数据表示对网络的输入，第二列数据表示响应。每一行数据代表一个单独的观察结果。为ImageDatastore只有,trainNetwork和trainingOptions万博1manbetx支持以整数数组和整数数组的单列单元格数组返回的数据。

要为具有多个输入层的网络使用数据存储，请使用结合和变换函数来创建一个数据存储，输出一个单元格数组numInputs+ 1)列，其中numInputs为网络输入数。在这种情况下，是第一个numInputs列指定每个输入的预测器，最后一列指定响应。输入的顺序由InputNames层图的属性层。

下表显示了调用读函数数据存储ds。

网络体系结构数据存储输出示例输出

单个输入层

网络体系结构	数据存储输出	示例输出
单个输入层	有两列的表格或单元格数组。第一列和第二列分别指定预测器和响应。表元素必须是标量、行向量或包含数字数组的1 × 1单元格数组。自定义小批量数据存储必须输出表。	data =阅读(ds) data = 4×2表预测响应__________________ ________ {224×224×3 double} 2 {224×224×3 double} 7 {224×224×3 double} 9 {224×224×3 double} 9
data =阅读(ds) data = 4×2 cell array {224×224×3 double} {[2]} {224×224×3 double} {[7]} {224×224×3 double} {[9]} {224×224×3 double} {[9]}
多个输入层	单元阵列(`numInputs`+ 1)列，其中`numInputs`为网络输入数。第一个`numInputs`列指定每个输入的预测器，最后一列指定响应。输入的顺序由`InputNames`层图的属性`层`。	data =阅读(ds) data = 4×3 cell array {224×224×3 double} {128×128×3 double} {[9]} {224×224×3 double} {128×128×3 double} {224×224×3 double} {128×128×3 double} {[9]} {224×224×3 double} {128×128×3 double} {[9]}

有两列的表格或单元格数组。

第一列和第二列分别指定预测器和响应。

表元素必须是标量、行向量或包含数字数组的1 × 1单元格数组。

自定义小批量数据存储必须输出表。

data =阅读(ds)

data = 4×2表预测响应__________________ ________ {224×224×3 double} 2 {224×224×3 double} 7 {224×224×3 double} 9 {224×224×3 double} 9

data =阅读(ds)

data = 4×2 cell array {224×224×3 double} {[2]} {224×224×3 double} {[7]} {224×224×3 double} {[9]} {224×224×3 double} {[9]}

多个输入层

单元阵列(numInputs+ 1)列，其中numInputs为网络输入数。

第一个numInputs列指定每个输入的预测器，最后一列指定响应。

输入的顺序由InputNames层图的属性层。

data =阅读(ds)

data = 4×3 cell array {224×224×3 double} {128×128×3 double} {[9]} {224×224×3 double} {128×128×3 double} {224×224×3 double} {128×128×3 double} {[9]} {224×224×3 double} {128×128×3 double} {[9]}

预测器的格式取决于数据的类型。

数据	格式的预测
二维图像	h——- - - - - -w——- - - - - -c数字数组,h,w,c分别为图像的高度、宽度和通道数量。
三维图像	h——- - - - - -w——- - - - - -d——- - - - - -c数字数组,h,w,d,c分别为图像的高度、宽度、深度和通道数量。
向量序列	c——- - - - - -年代矩阵,c特征数的数列是和吗年代为序列长度。
二维图像序列	h——- - - - - -w——- - - - - -c——- - - - - -年代数组,h,w,c分别对应于图像的高度、宽度和通道数，和年代为序列长度。小批中的每个序列必须具有相同的序列长度。
三维图像序列	h——- - - - - -w——- - - - - -d——- - - - - -c——- - - - - -年代数组,h,w,d,c分别对应于图像的高度、宽度、深度和通道数量年代为序列长度。小批中的每个序列必须具有相同的序列长度。
特性	c-乘1的列向量，其中c是特征的数量。

对于表中返回的预测器，元素必须包含数字标量、数字行向量或包含数字数组的1 × 1单元格数组。

的trainNetwork函数不支持具有多个序列输入层的网络。万博1manbetx

响应的格式取决于任务的类型。

任务	格式的响应
分类	绝对标量
回归	标量数值向量代表图像的三维数字数组
Sequence-to-sequence分类	1 -年代类别标签序列，其中年代为相应预测器序列的序列长度。
Sequence-to-sequence回归	R——- - - - - -年代矩阵,R回复的数量是多少年代为相应预测器序列的序列长度。

对于表中返回的响应，元素必须是分类标量、数字标量、数字行向量或包含数字数组的1 × 1单元格数组。

预测

推理使用预测,分类,激活，数据存储只需要产生与预测器对应的列。推理函数使用第一个NumInputs列和忽略后续层，其中NumInputs为网络输入层数。

指定读取大小和小批量大小

一个数据存储可以为每个调用返回任意数量的行(观察)读。等功能trainNetwork,预测,分类,激活接受数据存储并支持指定万博1manbetx“MiniBatchSize”调用读尽可能多的次数来形成完整的小批量数据。由于这些函数形成了小批量，它们使用内存中的内部队列来存储读取的数据。例如，如果数据存储每次调用都返回64行读和MiniBatchSize是128，然后，要形成每个小批数据需要两个调用读。

为了获得最佳运行时性能，建议配置数据存储，以便返回的观察数读等于“MiniBatchSize”。对于具有“ReadSize”属性,设置“ReadSize”更改每个调用的数据存储返回的观察数读。

转换和合并数据存储

深度学习经常需要对数据进行预处理和扩充，然后才能将数据以合适的形式输入到网络中。的变换和结合数据存储器的功能在准备将数据送入网络时是有用的。

变换数据存储

转换后的数据存储在读取数据时将特定的数据转换应用于基础数据存储。要创建转换后的数据存储，请使用变换函数，并指定底层数据存储和转换。

对于涉及多个预处理操作的复杂转换，请在自己的函数中定义完整的转换集。然后，将函数的句柄指定为@fcn的观点变换。有关更多信息，请参见在文件中创建函数。
对于可以用一行代码表示的简单转换，可以将匿名函数的句柄指定为@fcn的观点变换。有关更多信息，请参见匿名函数。

提供给的函数句柄变换必须接受与返回的格式相同的输入数据读底层数据存储的函数。

例如:对图像数据存储进行转换，训练数字分类网络

这个示例使用变换函数创建一个训练集，其中向图像数据存储中的每个图像添加随机的90度旋转。通过结果TransformedDatastore来trainNetwork训练一个简单的数字分类网络。

创建一个包含数字图像的图像数据存储。

digitDatasetPath = fullfile (matlabroot,“工具箱”,“nnet”,…“nndemos”,“nndatasets”,“DigitDataset”);imds2 = imageDatastore (digitDatasetPath,…“IncludeSubfolders”假的,…“LabelSource”,“foldernames”);

设置小批量的大小等于ReadSize镜像数据存储的。

miniBatchSize = 128;洛桑国际管理发展学院。ReadSize = miniBatchSize;

通过添加随机90度旋转来变换图像数据存储中的图像。转换函数,preprocessForTraining，在本示例的最后定义。

@preprocessForTraining dsTrain =变换(imd,“IncludeInfo”,真正的)

dsTrain = TransformedDatastore with properties: UnderlyingDatastore: [1×1 matlab.io.datastore.]{@preprocessForTraining} IncludeInfo: 1

指定网络层和训练选项，然后使用转换后的数据存储来训练网络dsTrain作为数据的来源。

= [imageInputLayer([28 28 1])，“归一化”,“没有”)卷积2dlayer (5,20) reluLayer maxPooling2dLayer(2，“步”, 2) fullyConnectedLayer (10);softmaxLayer classificationLayer];选择= trainingOptions (“亚当”,…“阴谋”,“训练进步”,…“MiniBatchSize”, miniBatchSize);网= trainNetwork (dsTrain层,选项);

定义一个函数来执行所需的数据转换，数据，从底层数据存储中读取。该函数循环遍历每个读取图像并执行随机旋转，然后按照所期望的那样将转换后的图像和相应的标签作为单元格数组返回trainNetwork。

函数[dataOut,info] = preprocessForTraining(data,info) numRows = size(data,1);dataOut =细胞(numRows, 2);为idx = 1: numRows%随机90度旋转imgOut = rot90(数据{idx 1},兰迪(4)1);返回info结构体中的标签% dataOut的第二列。dataOut (idx:) = {imgOut, info.Label (idx)};结束结束

结合数据存储

的结合函数关联多个数据存储。对结果进行操作CombinedDatastore，例如重置数据存储，在所有底层数据存储上执行相同的操作。调用读函数的组合数据存储从所有的N底层数据存储，它必须返回相同数量的观察。从组合数据存储中读取数据将返回水平连接的结果N-适用于培训和验证的列单元格阵列。对合并的数据存储进行洗牌会导致底层数据存储中文件的相同随机顺序。

例如，如果您正在训练一个图像到图像的回归网络，那么您可以通过组合两个图像数据存储来创建训练数据集。这个示例代码演示了将命名为imdsX和imdsY。合并后的数据存储imdsTrain以两列单元格数组的形式返回数据。

imdsX = imageDatastore (___);imdsY = imageDatastore (___);imdsTrain =结合(imdsX imdsY)

imdsTrain = combine datastore with properties: UnderlyingDatastores: {1×2 cell}

如果您有图像处理工具箱，那么randomPatchExtractionDatastore(图像处理工具箱)提供一种替代解决方案来关联基于映像的数据ImageDatastore年代,PixelLabelDatastore年代,TransformedDatastore年代。randomPatchExtractionDatastore与使用结合函数。具体来说，一个随机的补丁提取数据存储:

提供了一种从二维和三维数据中提取补丁的简单方法，而不需要您使用自定义裁剪操作变换和结合
提供了一种简单的方法，可以为每个小批量图像生成多个补丁，而不需要定义自定义的连接操作变换。
万博1manbetx当应用图像转换到分类数据时，支持分类数据和数字数据之间的有效转换
万博1manbetx支持并行训练
通过缓存映像提高性能

使用数据存储进行并行培训和后台调度

用于并行训练或多gpu训练的数据存储必须是可分区的。要确定数据存储是否可分区，请使用该函数isPartitionable。指定并行或多gpu训练使用”ExecutionEnvironment”的名称-值对参数trainingOptions。并行或使用单个或多个gpu的培训需要parallel Computing Toolbox™。

许多内置数据存储已经是可分区的，因为它们支持万博1manbetx分区函数。使用变换和结合内置数据存储的函数经常维护对并行和多gpu训练的支持。万博1manbetx

如果你需要创建一个支持并行或多gpu训练的自定义数据存储，那么你的数据存储必须实现万博1manbetxmatlab.io.datastore.Partitionable类。

可分区数据存储支持使用后台调度读取训练数据。万博1manbetx后台调度在GPU工作时在内存中排队数据。指定后台调度”DispatchInBackground”的名称-值对参数trainingOptions。后台调度需要并行计算工具箱。

并行训练时，数据存储不支持指定万博1manbetx”洗牌”的名称-值对参数trainingOptions作为“没有”。