使用自动并行支持在云中训练网络万博1manbetx
这个例子展示了如何使用MATLAB自动支持并行训练卷积神经网络。万博1manbetx深度学习训练通常需要数小时或数天。通过使用并行计算，您可以在本地或云中的集群中使用多个图形处理单元(gpu)加快培训速度。如果您可以访问具有多个gpu的机器，那么您可以在数据的本地副本上完成这个示例。如果你想使用更多的资源，那么你可以将深度学习培训扩展到云。要了解更多关于并行训练的选项，请参见并行和在云中扩展深度学习．这个例子指导您通过使用MATLAB自动并行支持在云中的集群中训练深度学习网络的步骤。万博1manbetx
需求
在运行示例之前，需要配置集群并将数据上传到云。在MATLAB中，您可以直接从MATLAB桌面在云中创建集群。在首页选项卡,平行菜单中,选择创建和管理集群．在集群配置文件管理器中，单击创建云计算集群．或者，您可以使用MathWorks Cloud Center来创建和访问计算集群。有关更多信息，请参见云中心入门．之后，将数据上传到Amazon S3桶，并直接从MATLAB访问它。本示例使用已经存储在Amazon S3中的CIFAR-10数据集的副本。说明,请参阅上传深度学习数据到云．
设置并行池
在集群中启动一个并行池，并将工作人员的数量设置为集群中的gpu数量。如果指定的worker多于gpu，那么剩余的worker将处于空闲状态。本例假设您使用的集群被设置为默认集群配置文件。检查MATLAB上的默认集群配置文件首页选项卡,在平行>选择默认集群．
numberOfWorkers = 8;parpool (numberOfWorkers);
使用myclusterincloud配置文件启动并行池(parpool)…连接到8个工人。
从云加载数据集
使用。从云加载训练和测试数据集imageDatastore．在本例中，使用存储在Amazon S3中的CIFAR-10数据集的副本。要确保工作人员能够访问云中的数据存储，请确保正确设置AWS凭据的环境变量。看到上传深度学习数据到云．
imdsTrain = imageDatastore (s3: / / cifar10cloud / cifar10 /火车'，．..“IncludeSubfolders”,真的,．..“LabelSource”，“foldernames”）;imdsTest = imageDatastore (s3: / / cifar10cloud / cifar10 /测试”，．..“IncludeSubfolders”,真的,．..“LabelSource”，“foldernames”）;
通过创建一个增强的图像数据来训练网络augmentedImageDatastore对象。使用随机平移和水平反射。数据增强有助于防止网络过度拟合和记忆训练图像的确切细节。
imageSize = [32 32 3];pixelRange = [-4 4];imageAugmenter = imageDataAugmenter (．..“RandXReflection”,真的,．..“RandXTranslation”pixelRange,．..“RandYTranslation”, pixelRange);imdsTrain augmentedImdsTrain = augmentedImageDatastore(图象尺寸,．..“DataAugmentation”imageAugmenter,．..“OutputSizeMode”，“randcrop”）;
定义网络架构和培训选项
为CIFAR-10数据集定义一个网络架构。为了简化代码，可以使用卷积块对输入进行卷积。池化层向下采样空间维度。
blockDepth = 4;% blockDepth控制卷积块的深度netWidth = 32;% netWidth控制卷积块中过滤器的数量[imageInputLayer(imageSize)卷积块(netWidth,blockDepth) maxPooling2dLayer(2，“步”2) convolutionalBlock (2 * netWidth blockDepth) maxPooling2dLayer (2“步”，2) convolutionalBlock(4*netWidth,blockDepth) averageepooling2dlayer (8) fulllyconnectedlayer (10) softmaxLayer classificationLayer;
定义培训选项。通过将执行环境设置为，使用当前集群并行训练网络平行．当您使用多个gpu时，您将增加可用的计算资源。根据GPU的数量扩大迷你批处理的大小，以保持每个GPU上的工作负载不变。根据小批量的大小缩放学习率。使用学习率计划，随着训练的进行降低学习率。在训练过程中打开训练进度图，获取视觉反馈。
miniBatchSize = 256 * numberOfWorkers;initialLearnRate = 1e-1 * miniBatchSize/256;选择= trainingOptions (“个”，．..“ExecutionEnvironment”，“平行”，．..开启自动并行支持。万博1manbetx“InitialLearnRate”initialLearnRate,．..%设置初始学习率。“MiniBatchSize”miniBatchSize,．..%设置MiniBatchSize。“详细”假的,．..%不发送命令行输出。“阴谋”，“训练进步”，．..打开训练进度图。“L2Regularization”1平台以及．..“MaxEpochs”, 50岁,．..“洗牌”，“every-epoch”，．..“ValidationData”imdsTest,．..“ValidationFrequency”、地板(元素个数(imdsTrain.Files) / miniBatchSize),．..“LearnRateSchedule”，“分段”，．..“LearnRateDropFactor”, 0.1,．..“LearnRateDropPeriod”, 45岁);
训练网络和分类使用
训练集群中的网络。在训练期间，情节显示了进展。
净= trainNetwork (augmentedImdsTrain、层、期权)
net = SeriesNetwork with properties: Layers: [43×1 net.cnn.layer. layer]
通过使用经过训练的网络对本地机器上的测试图像进行分类，确定网络的准确性。然后比较预测的标签和实际的标签。
YPredicted =分类(净,imdsTest);精度= sum(YPredicted == imdsTest.Labels)/numel(imdsTest.Labels)
定义辅助函数
定义一个函数在网络架构中创建一个卷积块。
函数layers =[卷积2dlayer (3,numFilters, numConvLayers)] layer =[卷积2dlayer (3,numFilters，“填充”，“相同”) batchNormalizationLayer reluLayer];层= repmat(层numConvLayers 1);结束
另请参阅
imageDatastore|trainingOptions|trainNetwork
相关的话题
你也可以从以下列表中选择一个网站:
