并行训练单一网络

并行训练多个网络

批量深度学习

方法可以将深度学习计算卸载到在后台运行批处理(并行计算工具箱)函数。这意味着当您的计算在后台运行时，您可以继续使用MATLAB，或者您可以关闭客户端MATLAB并稍后获取结果。

您可以在本地或远程集群中运行批处理作业。要卸载深度学习计算，请使用批处理提交在集群中运行的脚本或函数。您可以将任何类型的深度学习计算作为批处理作业执行，包括并行计算。有关示例，请参见将深度学习批处理作业发送到集群

若要并行运行，请使用包含与在本地或集群中并行运行相同代码的脚本或函数。例如，您的脚本或函数可以运行trainNetwork使用“ExecutionEnvironment”、“平行”选项，或并行运行自定义训练循环。使用批处理将脚本或函数提交到集群并使用池选项，指定要使用的工人数量。有关运行并行计算的详细信息批处理,请参阅运行批处理并行作业(并行计算工具箱)．

为了在多个网络上运行深度学习计算，建议为每个网络提交单个批处理作业。这样做避免了在集群中启动并行池所需的开销，并允许您使用作业监视器分别观察每个网络计算的进度。

您可以提交多个批处理作业。如果提交的作业需要比集群中当前可用的作业更多的工人，那么后面的作业将排队，直到前面的作业完成。当有足够多的工作人员可以运行作业时，排队作业就会启动。

工作者的默认搜索路径可能与您的客户端MATLAB不相同。为确保集群中的工作者能够访问所需的文件，例如代码文件、数据文件或模型文件，请使用AdditionalPaths选择。

要在作业完成后检索结果，请使用fetchOutputs(并行计算工具箱)函数。fetchOutputs检索批处理工作空间中的所有变量。当您将批处理作业作为脚本提交时，默认情况下，工作区变量将从客户端复制到工作线程。要避免工作空间变量的递归，请将批作业作为函数而不是脚本提交。

您可以使用日记(并行计算工具箱)在运行批作业时捕获命令行输出。方法时，这可能很有用trainNetwork函数与详细的选项设置为真正的．

管理集群配置文件和自动创建池

并行计算工具箱预先配置了集群概要文件流程用于在本地桌面计算机上运行并行代码。默认情况下，MATLAB使用流程集群配置文件。如果要在远程集群上运行代码，则必须使用远程集群配置文件启动并行池。可以使用集群概要文件管理器管理集群概要文件。有关管理集群概要文件的详细信息，请参见发现集群并使用集群概要文件(并行计算工具箱)．

一些函数，包括trainNetwork，预测，分类，parfor,parfeval可以自动启动并行池。要利用自动创建并行池的优势，请在cluster profile Manager中将所需的集群设置为默认集群配置文件。或者，您也可以手动创建池，并在创建池时指定所需的集群资源。

如果您希望在远程集群中使用多个gpu并行地训练多个网络或进行自定义训练循环，最佳实践是在所需的集群中手动启动一个并行池，其中的worker与可用gpu一样多。有关更多信息，请参见基于MATLAB的多gpu深度学习．

深度学习精度

为了获得最佳性能，建议所有深度学习工作流都使用GPU。由于gpu的单精度和双精度性能可能存在很大差异，因此了解执行哪种精度计算非常重要。通常，gpu在单精度计算方面提供了更好的性能。

如果只使用GPU进行深度学习，那么单精度性能是GPU最重要的特性之一。如果你也使用GPU进行并行计算工具箱的其他计算，那么高的双精度性能是很重要的。这是因为MATLAB中的许多函数默认使用双精度算法。有关更多信息，请参见在单精度执行计算(并行计算工具箱)

当你训练一个网络使用trainNetwork函数，或者当您使用预测或验证函数时DAGNetwork而且SeriesNetwork对象，该软件使用单精度浮点运算来执行这些计算。用于训练、预测和验证的函数包括trainNetwork，预测，分类,激活．当您使用cpu和gpu训练网络时，该软件使用单精度算法。

对于自定义训练工作流，建议将数据转换为用于训练和推断的单一精度。如果你使用minibatchqueue要管理小批量，默认情况下，您的数据将转换为单精度。