并行训练单网络

并行训练多个网络

批处理深度学习

您可以使用批处理（并行计算工具箱）功能。这意味着您可以在后台运行计算时继续使用MATLAB，也可以关闭客户端MATLAB并稍后获取结果。

可以在本地集群或远端集群中运行批处理作业。要卸载您的深度学习计算，请使用批处理提交在集群中运行的脚本或函数。您可以作为批处理作业执行任何类型的深度学习计算，包括并行计算。例如，请参见发送深度学习批作业到集群

要并行运行，请使用包含本地或集群中并行运行相同代码的脚本或函数。例如，您的脚本或函数可以运行列车网络使用“执行环境”、“并行”选项，或者并行运行自定义的训练循环。使用批处理将脚本或函数提交到集群并使用水塘选项指定要使用的工作进程数。有关使用运行并行计算的详细信息批处理看见运行批处理并行作业（并行计算工具箱）．

如果要在多个网络上进行深度学习计算，建议为每个网络提交单个批处理作业。这样做可以避免在集群中启动并行池所需的开销，并允许您使用作业监视器分别观察每个网络计算的进度。

您可以提交多个批处理作业。如果提交的作业需要的工人数量超过集群中当前可用的工人数量，则稍后的作业将排队，直到较早的作业完成。队列作业在有足够的工作人员可运行作业时启动。

Worker的默认搜索路径可能与客户端的路径不同。要确保群集中的辅助对象可以访问所需的文件，例如代码文件、数据文件或模型文件，请使用附加路径选择。

要在作业完成后检索结果，请使用获取输出（并行计算工具箱）功能。获取输出检索批处理工作区中的所有变量。默认情况下，当您以脚本形式提交批处理作业时，工作区变量将从客户端复制到工作区。要避免工作区变量的递归，请将批处理作业作为函数而不是脚本提交。

你可以使用日记（并行计算工具箱）在运行批处理作业时捕获命令行输出。这在执行列车网络函数与冗长的选项设置为真正的．

管理群集配置文件和自动池创建

并行计算工具箱是预先配置的集群配置文件地方的用于在本地桌面计算机上运行并行代码。默认情况下，MATLAB使用地方的群集配置文件。如果要在远程群集上运行代码，必须使用远程群集配置文件启动并行池。您可以使用群集配置文件管理器管理群集配置文件。有关管理群集配置文件的更多信息，请参阅发现集群并使用集群配置文件（并行计算工具箱）．

一些功能，包括列车网络,预测,分类,帕弗,帕菲尔可以自动启动并行池。要利用自动并行池创建的优势，请在集群概要文件管理器中将所需的集群设置为默认集群概要文件。您也可以手动创建资源池，并在创建资源池时指定所需的集群资源。

如果希望在远程集群中使用多个gpu并行地训练多个网络或进行自定义训练循环，最佳实践是在所需集群中手动启动一个并行池，使用尽可能多的可用gpu。有关更多信息，请参见基于多gpu的MATLAB深度学习．

深度学习精度

为了获得最佳性能，建议在所有深度学习工作流中使用GPU。由于GPU的单精度和双精度性能可能有很大差异，因此了解执行精度计算的方式非常重要。通常，GPU在单精度计算中提供更好的性能。

如果只使用GPU进行深度学习，那么单精度性能是GPU最重要的特性之一。如果您还使用GPU进行其他使用并行计算工具箱的计算，那么高双精度性能非常重要。这是因为MATLAB中的许多函数默认使用双精度算法。有关详细信息，请参阅使用单精度计算提高性能（并行计算工具箱）

当你用列车网络函数，或者将预测或验证函数用于达格网络和系列网络对象，软件使用单精度浮点算法执行这些计算。用于培训、预测和验证的功能包括列车网络,预测,分类,激活．当你同时使用cpu和gpu训练网络时，该软件使用单精度算法。

对于自定义培训工作流，建议将数据转换为单精度以进行培训和推理。如果你使用minibatchqueue要管理小批量，默认情况下，数据将转换为单精度。