使用并行计算和gpu的列车代理- MATLAB & Simulink - MathWorks Benelux万博1manbetx

使用并行计算和GPU训练代理

如果您有Parallel Computing Toolbox™软件，您可以在多核处理器或gpu上运行并行模拟。如果你有MATLAB^®并行服务器™软件，您可以在计算机集群或云资源上运行并行模拟。

您可以独立地使用哪些设备来模拟或训练代理，一旦代理被训练，您就可以生成代码来在CPU或GPU上部署最佳策略。对此有更详细的解释部署训练有素的强化学习政策．

使用多个进程

当您使用并行计算培训代理时，并行池客户端（启动培训的MATLAB过程）将其代理和环境的副本发送给每个并行工作者。每个工作者在环境中模拟代理并将其模拟数据发送回客户端。客户端代理从工作者发送的数据中学习，并将更新的策略参数发送回工作者。

创建的并行池N请使用以下语法。

池= parpool (N);

如果不使用。创建并行池parpool(并行计算工具箱),火车函数使用默认的并行池首选项自动创建一个。有关指定这些首选项的更多信息，请参见指定您的并行首选项(并行计算工具箱)．注意，使用线程工作器的并行池，例如池= parpool(“线程”)，不支持。万博1manbetx

要使用多个流程培训代理，您必须将其传递给火车一个函数RL培训选项其中的对象UseParallel设置为真正的．

有关配置培训以使用并行计算的更多信息，请参阅UseParallel和ParallelizationOptions选项RL培训选项．

请注意，不支持对包含多个代理的环境进行并行模拟和培训。万博1manbetx

有关在MATLAB中使用并行计算训练代理的示例，请参见用并行计算训练交流Agent平衡车杆系统。例如，在Simulink中使用并行计算训练代理万博1manbetx^®,请参阅基于并行计算的车道保持辅助DQN Agent训练和使用强化学习代理训练两足机器人行走．

特定于代理的并行培训考虑事项

对于非策略代理（如DDPG和DQN代理），不要将所有内核用于并行培训。例如，如果您的CPU有六个内核，则使用四个工作进程进行培训。这样做可以为并行池客户端提供更多资源，以便根据工作进程返回的经验计算梯度。不需要限制工作进程的数量对于策略代理，例如AC和PG代理，当在工人上计算梯度时，ary。

基于梯度的并行化（AC和PG代理）

同时训练AC和PG特工DataToSendFromWorkers财产的平行训练对象(包含在训练选项对象中)必须设置为“梯度”．

这样就配置了培训，使得环境模拟和梯度计算都由工作人员完成。具体来说，工作人员根据环境模拟代理，根据经验计算梯度，并将梯度发送到客户机。客户端对梯度进行平均，更新网络参数，并将更新后的参数发送回工作人员，以便他们可以继续使用新参数模拟代理。

使用基于梯度的并行化，原则上可以实现速度的提高，这在工人数量上几乎是线性的模式财产的RL培训选项对象的火车函数必须设置为“同步”)。这意味着工人必须暂停执行，直到所有工人都完成为止，因此培训只能以最慢的工人允许的速度进行。

当AC代理并行训练时，如果NumStepToLookAhead属性和AC代理选项对象STEPSUNTILDATISSENT财产的ParallelizationOptions对象设置为不同的值。

基于经验的并行化(DQN、DDPG、PPO、TD3和SAC代理商)

同时训练DQN、DDPG、PPO、TD3和SACDataToSendFromWorkers财产的ParallelizationOptions对象(包含在训练选项对象中)必须设置为“经验”．此选项不需要同步训练(即模式财产的RL培训选项对象的火车Function可设置为“异步”)．

这将配置培训，使环境模拟由工人完成，学习由客户完成。具体而言，工人根据环境模拟代理，并发送经验数据（观察、行动、奖励、下一次观察和终止信号）然后，客户端根据经验计算梯度，更新网络参数，并将更新后的参数发送回工作者，工作者继续使用新参数模拟代理。

只有当模拟环境的计算代价比优化网络参数的代价高时，基于经验的并行化才能减少训练时间。否则，当环境模拟足够快时，工作者就会等待客户机学习并返回更新后的参数。

换句话说，基于经验的并行化可以提高样本效率(目的是一个代理在给定时间内可以处理的样本数量)，只有当比例为时R环境步长复杂度与学习复杂度之间存在较大差异。如果环境模拟和学习的计算成本相似，那么基于经验的并行化不太可能提高样本效率。但是，在这种情况下，对于非策略代理，您可以减少迷你批处理的大小R更大，从而提高采样效率。

要在并行训练DQN、DDPG、TD3或SAC代理时强制体验缓冲区中的连续性，请设置NumStepsToLookAhead属性或对应的代理选项对象1．当尝试并行训练时，不同的值会导致错误。

使用gpu

当使用深度神经网络函数近似器为演员或评论家表示时，您可以通过在本地GPU而不是CPU上执行表示操作(如梯度计算和预测)来加速训练。要做到这一点，当创建一个评论家或演员代表时，使用rlRepresentationOptions对象，其中UseDevice选项设置为“图形”而不是“cpu”．

选择= rlRepresentationOptions (“使用设备”，“图形”);

的“图形”该选项需要并行计算工具箱软件和CUDA^®启用NVIDIA^®GPU。有关受支持的gpu的更多信息，请参阅万博1manbetxGPU版万博1manbetx本支持(并行计算工具箱)．

你可以用gpuDevice(并行计算工具箱)查询或选择要与MATLAB一起使用的本地GPU设备。

当行动者或批评者表示中的深度神经网络在输入图像上使用多个卷积层或具有大批量时，使用gpu可能是有益的。

有关如何使用GPU训练代理的示例，请参见通过图像观察训练DDPG药剂摆动和平衡摆锤．

同时使用多进程和GPU

您还可以使用多个进程和本地GPU（以前使用gpuDevice(并行计算工具箱))同时,。具体来说，您可以使用rlRepresentationOptions对象，其中UseDevice选项设置为“图形”．然后可以使用评论家和参与者创建代理，然后使用多个流程培训代理。这是通过创建RL培训选项其中的对象UseParallel设置为真正的然后把它传递给火车函数。

对于基于梯度的并行化（必须在同步模式下运行）环境模拟由工作人员完成，他们使用本地GPU计算梯度并执行预测步骤。然后，梯度被发送回并行池客户端进程，并行池客户端进程计算平均值，更新网络参数并将其发送回工作人员，以便他们继续模拟代理，使用e针对环境设置新参数。

对于基于经验的并行化（可以在异步模式下运行），工作人员根据环境模拟代理，并将经验数据发送回并行池客户端。然后，客户机使用其本地GPU根据体验计算梯度，然后更新网络参数并将更新后的参数发送回工作人员，工作人员继续根据环境使用新参数模拟代理。

请注意，当同时使用并行处理和GPU培训PPO代理时，工作人员使用其本地GPU计算优势，然后将处理后的经验轨迹（包括优势、目标和行动概率）发送回客户。