火车单一网络并行

火车并行多个网络

批处理深度学习

你可以卸载深度学习计算在后台运行使用批处理(并行计算工具箱)函数。这意味着您可以继续使用MATLAB当你计算在后台运行,或者你可以闭上你的客户以后MATLAB和获取结果。

您可以运行批处理作业在一个本地或远程集群。将你的深度学习计算,使用批处理提交一个脚本或函数,在集群中运行。您可以执行任何类型的深度学习计算作为批处理作业,包括并行计算。例如,看到的深度学习批处理作业发送到集群

要并行运行,使用一个脚本或函数,包含相同的代码,您将使用并行运行在本地或在一个集群中。例如,您可以运行脚本或函数trainNetwork使用“ExecutionEnvironment”、“平行”选项,或运行自定义训练并行循环。使用批处理提交的脚本或集群和使用功能池选项指定您想要使用的工人数量。有关运行并行计算的更多信息批处理,请参阅运行批处理并行工作(并行计算工具箱)。

深度学习计算运行在多个网络,建议为每个网络提交单个批处理作业。这样做可以避免开销需要启动一个集群中的平行池和允许您使用工作监视器观察每个网络的进步单独计算。

您可以提交多个批处理作业。如果提交的工作需要更多的工人比目前可用的集群中,后来工作提前排队,直到工作完成。排队的工作开始当足够的工人可以运行工作。

默认搜索路径的工人可能不一样,你的客户MATLAB。集群中,以确保工人获得所需的文件,如代码文件,数据文件,或模型文件,指定路径添加到工人使用AdditionalPaths选择。

检索结果的工作完成后,使用fetchOutputs(并行计算工具箱)函数。fetchOutputs检索批工人工作空间中的所有变量。当你提交批处理作业脚本,默认情况下,工作空间变量复制从客户端到工人。为了避免递归工作空间变量,函数而不是脚本提交批处理作业。

您可以使用日记(并行计算工具箱)获取命令行输出在运行批处理作业。这可能是有用的在执行trainNetwork函数与详细的选项设置为真正的。

管理集群配置文件和自动池创建

并行计算工具箱是预先配置的集群配置文件流程平行代码在本地桌面机器。默认情况下,MATLAB开始平行池使用流程集群配置文件。如果你想远程集群上运行代码,您必须使用远程集群配置文件启动并行池。您可以使用集群管理集群配置文件配置文件管理器。管理集群配置文件的更多信息,请参阅发现集群和集群配置文件使用(并行计算工具箱)。

一些功能,其中包括trainNetwork,预测,分类,parfor,parfeval可以自动启动一个平行的池。利用自动平行池创建、设置你想要的集群中的集群作为默认集群配置文件配置文件管理器。或者,您可以手动创建连接池,并指定所需的集群资源当您创建池。

如果你想使用多个gpu在一个偏远的集群并行训练多个网络或自定义训练循环,最佳实践是手动启动一个平行池所需的可用gpu集群和尽可能多的工人。有关更多信息,请参见深度学习与MATLAB在多个gpu。

深度学习精度

为获得最佳性能,建议使用GPU深度学习工作流程。因为单精度和双精度gpu的性能可以大大不同,重要的是要知道精确的计算。通常,gpu为单精度计算提供更好的性能。

如果你只使用GPU深度学习,然后单精度性能是最重要的一个特征的GPU。如果你还为其他使用GPU计算使用并行计算工具箱,然后高双精度性能是很重要的。这是因为许多功能在MATLAB在默认情况下使用双精度运算。有关更多信息,请参见执行计算的精度(并行计算工具箱)

当你训练一个网络使用trainNetwork函数,或者当你使用预测或验证功能DAGNetwork和SeriesNetwork对象,软件执行这些计算使用单精度浮点算术。包括功能训练、预测和验证trainNetwork,预测,分类,激活。软件使用单精度算法训练网络时使用的cpu和gpu。

定制培训工作流程,建议将数据转化为单精度训练和推理。如果你使用minibatchqueue管理mini-batches,默认数据转化为单精度。