主要内容

并行使用实验管理器来训练网络

默认情况下,实验管理器运行一个审判你的实验在一个CPU。如果你有并行计算工具箱™,您可以配置您的实验同时运行多个试验或运行一个试验在多个gpu,集群上,或在云中。

训练的场景 建议
并行运行多个试验同时使用一个工人为每个审判。

设置您的并行环境,集模式同时,然后单击运行。实验管理器运行尽可能多的同时试验有工人在你平行池。所有其他试验后来排队等候在你的实验评价。

另外,将实验作为批处理作业,集模式批处理同时,指定你集群池大小,然后单击运行。有关更多信息,请参见卸载实验作为集群的批处理作业

实验管理器不支持万博1manbetx同时批处理同时当你设置培训选项执行ExecutionEnvironment“multi-gpu”“平行”或者当你使培训选项DispatchInBackground。使用这些选项来加速你的训练只有如果你想运行一个试验的一次实验。

一次运行单个试验在多个并行的工人。

内置的训练实验:

在实验中设置功能,设置培训选项ExecutionEnvironment“multi-gpu”“平行”。有关更多信息,请参见并行扩展深度学习,在gpu上,在云端

如果您使用的是可分区的数据存储,使背景调度通过设置培训选项DispatchInBackground真正的。有关更多信息,请参见使用数据存储并行调度培训和背景

设置您的并行环境,集模式顺序,然后单击运行

另外,将实验作为批处理作业,集模式批处理顺序,指定你集群池大小,然后单击运行。实验管理器不支持这种执行模式当你设定培训选项万博1manbetxExecutionEnvironment“multi-gpu”。有关更多信息,请参见卸载实验作为集群的批处理作业

自定义训练实验:

在实验中训练函数,建立并行环境和使用一个spmd块定义一个自定义的并行循环培训。有关更多信息,请参见定制培训与实验中的多个gpu经理

模式顺序并点击运行

另外,将实验作为批处理作业,集模式批处理顺序,指定你集群池大小,然后单击运行。有关更多信息,请参见卸载实验作为集群的批处理作业

内置的训练实验,结果表显示每个审判是否运行在单个CPU、GPU,多个CPU,或多个GPU。显示这些信息,点击显示或隐藏列按钮结果上方的表并选择执行环境

提示

使用并行运行一个实验MATLAB®在线™,你必须能够访问云中心集群。有关更多信息,请参见使用并行计算与云中心集群在MATLAB工具箱(并行计算工具箱)

设置并行环境

火车在多个gpu

如果您有多个gpu,并行执行通常增加实验的速度。使用GPU深度学习需要并行计算工具箱和支持GPU设备。万博1manbetx有关更多信息,请参见GPU计算的需求(并行计算工具箱)

  • 内置的训练实验,GPU的支持是自动的。万博1manbetx默认情况下,这些实验使用GPU如果一个是可用的。

  • 自定义训练实验,计算默认出现在一个CPU。训练在GPU上,把你的数据gpuArray对象。确定一个可用的GPU,调用canUseGPU函数。

为达到最佳效果,在你运行你的实验之前,创建一个尽可能多的工人gpu并行池。您可以检查gpu通过使用可用的数量gpuDeviceCount(并行计算工具箱)函数。

numGPUs = gpuDeviceCount (“可用”);parpool (numGPUs)

请注意

如果您创建了一个单个GPU并行池,所有员工共享GPU,所以你得不到训练加速增加GPU内存耗尽的机会。

火车在集群或云

如果您的实验需要很长时间才能运行在本地机器上,您可以通过使用计算机集群加速训练在你的本地网络或租用高性能gpu的云。在完成初始设置之后,您可以运行你的实验用最少的代码更改。在一个集群或在云中需要工作MATLAB并行服务器™。有关更多信息,请参见云中的深度学习

另请参阅

应用程序

功能

对象

相关的话题