培训深网络是计算密集的,可以花费很多时间计算时间;但是,神经网络是固有的平行算法。您可以通过使用高性能GPU和计算机群集并行运行来利用这种并行性。
建议使用GPU或多个GPU训练。如果您没有GPU,只能使用单个CPU或多个CPU。CPU通常培训和推理的GPU较慢。在单个GPU上运行通常提供比在多个CPU内核上运行的更好的性能。
如果没有合适的GPU,可以在云中租用高性能GPU和集群。有关热处理的更多信息,请访问MATLAB®在深度学习的云里,看云中的深度学习.
使用GPU或并行选项需要并行计算工具箱™. 使用GPU还需要支持的GPU设备。有关支持的设备的信息,请参阅万博1manbetxGPU通万博1manbetx过发布支持(并行计算工具箱). 使用远程集群还需要MATLAB并行服务器™.
提示
为了Trainnetwork.
工作流程,GPU支持是自动的。万博1manbetx默认情况下,Trainnetwork.
函数使用GPU,如果一个可用。如果您可以访问具有多个GPU的机器,请指定ExecutionEnvironment
培训选项为“多GPU”
.
运行自定义培训工作流,包括dlnetwork.
工作流,在GPU上,使用minibatchqueue
自动地将数据转换为GPUArray.
对象。
您可以使用并行资源来扩展单个网络的深度学习。你也可以同时训练多个网络。以下部分展示了在MATLAB中并行进行深度学习的可用选项:
笔记
如果您在单个远程机器(例如通过ssh或远程桌面协议连接到的云机器)上运行MATLAB,那么请按照以下步骤来获取本地资源。有关连接到云资源的更多信息,请参见云中的深度学习.
下表显示了在本地工作站上使用单个网络进行培训和推理的可用选项。
资源 | Trainnetwork. 工作流程 |
自定义培训工作流 | 需要产品s manbetx 845 |
---|---|---|---|
单CPU | 自动如果没有GPU可用。 不建议使用使用单个CPU进行培训。 |
不建议使用使用单个CPU进行培训。 |
|
多个CPU核心 | 如果您可以访问GPU,则不建议使用使用多个CPU核心的培训。 |
如果您可以访问GPU,则不建议使用使用多个CPU核心的培训。 |
|
单一的GPU | 自动的默认情况下,如果GPU可用,则在GPU上运行训练和推理。 或者,指定 |
用 例如,请参见使用自定义培训循环列车网络. |
|
多GPU | 指定 例如,请参见使用自动多gpu支持训练网络万博1manbetx. |
启动当地并行池,与众多工人一样可用GPU。有关更多信息,请参阅在多个GPU上与MATLAB深入学习 用 例如,请参见与自定义训练循环并行的训练网络. 设定 |
下表显示了使用远程集群上的单个网络进行训练和推断的可用选项。
资源 | Trainnetwork. 工作流程 |
自定义培训工作流 | 需要产品s manbetx 845 |
---|---|---|---|
多重处理器 | 如果您可以访问GPU,则不建议使用使用多个CPU核心的培训。 |
如果您可以访问GPU,则不建议使用使用多个CPU核心的培训。 |
|
多GPU | 将所需的群集指定为默认群集配置文件。有关更多信息,请参阅管理群集配置文件和自动池创建 指定 例如,请参见使用自动并行支持云中的火车网络万博1manbetx. |
在所需群集中启动一个并行池,与众多工人为可用GPU。有关更多信息,请参阅在多个GPU上与MATLAB深入学习 用 例如,请参见与自定义训练循环并行的训练网络. 设定 |
您可以使用深度网络设计器并行训练单个网络。您可以使用本地资源或远程集群进行培训。
要使用多个gpu进行本地培训,请设置exectionenvironment.
选项multi-gpu
在“培训选项”对话框中。
要使用远程群集训练,请设置exectionenvironment.
选项平行
在“培训选项”对话框中。如果没有当前并行池,则软件将使用默认群集配置文件启动一个。如果池可以访问GPU,那么只有具有唯一GPU的工人执行培训计算。如果游泳池没有GPU,则培训在所有可用的CPU工作者上进行。
您可以使用实验管理器使用多个并行工人运行单个试验。有关更多信息,请参阅使用实验管理器并行训练网络.
要并行训练多个网络,请在不同的并行工作机上训练每个网络。您可以修改每个辅助对象上的网络或培训参数,以并行执行参数扫描。
用帕弗
(并行计算工具箱)或帕菲尔
(并行计算工具箱)在每个工人训练一个网络。在后台运行而不阻止您当地的MATLAB,使用帕菲尔
.你可以使用绘制结果OutputFcn
培训选项。
您可以在本地运行,也可以使用远程集群。使用远程集群需要MATLAB并行服务器.
资源 | Trainnetwork. 工作流程 |
自定义培训工作流 | 需要产品s manbetx 845 |
---|---|---|---|
多重处理器 | 将所需的群集指定为默认群集配置文件。有关更多信息,请参阅管理群集配置文件和自动池创建 用 有关示例,请参见 |
将所需的群集指定为默认群集配置文件。有关更多信息,请参阅管理群集配置文件和自动池创建 用 |
|
多GPU | 在所需群集中启动一个并行池,与众多工人为可用GPU。有关更多信息,请参阅在多个GPU上与MATLAB深入学习 用 有关示例,请参见 |
在所需群集中启动一个并行池,与众多工人为可用GPU。有关更多信息,请参阅在多个GPU上与MATLAB深入学习 用 将每个迷你批次数据转换为 |
您可以使用实验管理器同时在多个并行工作线程上运行试验。设置并行环境并启用使用并行在运行实验之前的选项。实验经理随着您的并行池中的工人运行多重试验。有关更多信息,请参阅使用实验管理器并行训练网络.
您可以卸载深度学习计算以使用批
(并行计算工具箱)功能。这意味着您可以在您的计算在后台运行时继续使用MATLAB,或者您可以在稍后关闭客户端MATLAB和获取结果。
可以在本地集群或远端集群中运行批处理作业。要卸载您的深度学习计算,请使用批
提交在集群中运行的脚本或函数。您可以作为批处理作业执行任何类型的深度学习计算,包括并行计算。例如,请参见发送深度学习批作业到集群
要并行运行,请使用包含本地或集群中并行运行相同代码的脚本或函数。例如,您的脚本或函数可以运行Trainnetwork.
使用“执行环境”、“并行”
选项,或者并行运行自定义的训练循环。用批
将脚本或函数提交到集群并使用水塘
指定要使用的工人数量的选项。有关运行并行计算的更多信息批
看见运行批处理并行作业(并行计算工具箱).
如果要在多个网络上进行深度学习计算,建议为每个网络提交单个批处理作业。这样做可以避免在集群中启动并行池所需的开销,并允许您使用作业监视器分别观察每个网络计算的进度。
您可以提交多个批处理作业。如果提交的作业需要的工人数量超过集群中当前可用的工人数量,则稍后的作业将排队,直到较早的作业完成。队列作业在有足够的工作人员可运行作业时启动。
工人的默认搜索路径可能与客户端MATLAB的搜索路径不同。要确保群集中的工人可以访问所需的文件,例如代码文件,数据文件或模型文件,指定使用的路径添加到工人附加路径
选择。
要在作业完成后检索结果,请使用fetchOutputs.
(并行计算工具箱)功能。fetchOutputs.
检索批处理工作区中的所有变量。默认情况下,当您以脚本形式提交批处理作业时,工作区变量将从客户端复制到工作区。要避免工作区变量的递归,请将批处理作业作为函数而不是脚本提交。
你可以使用记事簿
(并行计算工具箱)在运行批处理作业时捕获命令行输出。这在执行Trainnetwork.
函数与verb
选项设置为真正的
.
并行计算工具箱是预先配置的集群配置文件当地的
用于在本地桌面计算机上运行并行代码。默认情况下,MATLAB使用当地的
群集配置文件。如果要在远程群集上运行代码,必须使用远程群集配置文件启动并行池。您可以使用群集配置文件管理器管理群集配置文件。有关管理群集配置文件的更多信息,请参阅发现集群并使用集群配置文件(并行计算工具箱).
一些功能,包括Trainnetwork.
,预测
,分类
,帕弗
,帕菲尔
可以自动启动并行池。要利用自动并行池创建的优势,请在集群概要文件管理器中将所需的集群设置为默认集群概要文件。您也可以手动创建资源池,并在创建资源池时指定所需的集群资源。
如果希望在远程集群中使用多个gpu并行地训练多个网络或进行自定义训练循环,最佳实践是在所需集群中手动启动一个并行池,使用尽可能多的可用gpu。有关更多信息,请参阅在多个GPU上与MATLAB深入学习.
为了获得最佳性能,建议在所有深度学习工作流中使用GPU。由于GPU的单精度和双精度性能可能有很大差异,因此了解执行精度计算的方式非常重要。通常,GPU在单精度计算中提供更好的性能。
如果只使用GPU进行深度学习,那么单精度性能是GPU最重要的特性之一。如果您还使用GPU进行其他使用并行计算工具箱的计算,那么高双精度性能非常重要。这是因为MATLAB中的许多函数默认使用双精度算法。有关详细信息,请参阅使用单精度计算提高性能(并行计算工具箱)
当你用Trainnetwork.
函数,或者将预测或验证函数用于达格网络
和系列网络
对象,软件使用单精度浮点算法执行这些计算。用于培训、预测和验证的功能包括Trainnetwork.
,预测
,分类
,激活
.当你同时使用cpu和gpu训练网络时,该软件使用单精度算法。
对于自定义培训工作流,建议将数据转换为单精度以进行培训和推理。如果你使用minibatchqueue
要管理迷你批处理,默认情况下,您的数据将转换为单精度。
trainingOptions
|minibatchqueue
|Trainnetwork.
|深网络设计师|实验管理器