火车
在指定的环境中训练强化学习代理
描述
trainStats=火车(env，代理）代理是一个输入参数，在每次训练后，火车更新中指定的每个代理的参数代理使他们从环境中获得的长期回报最大化。培训结束时,代理反映了最后一集训练中每个agent的状态。
trainStats=火车(代理，env）
例子
训练一个强化学习代理
中配置的代理培训PG代理以平衡车柱系统例如，在相应的环境中。从环境中观察到的是一个向量，包含了小车的位置和速度，以及极点的角位置和速度。这个作用力是一个标量，有两个可能的元素(施加在推车上的力是-10牛顿或10牛顿)。
加载包含环境和已为其配置的PG代理的文件。
负载RLTrainExample.mat
使用。指定一些训练参数rlTrainingOptions．这些参数包括要训练的最大集数、每集的最大步长和终止训练的条件。对于本例，最多使用1000集，每集使用500步。当前五集的平均奖励达到500时，指示训练停止。创建一个默认选项集，并使用点符号来更改一些参数值。
trainOpts = rlTrainingOptions;trainOpts。MaxEpisodes = 1000;trainOpts。MaxStepsPerEpisode = 500;trainOpts。StopTrainingCriteria =“AverageReward”；trainOpts。StopTrainingValue = 500;trainOpts。ScoreAveragingWindowLength = 5;
在培训期间,火车命令可以保存提供良好结果的候选代理。进一步配置训练选项以在章节奖励超过500时拯救代理。将代理保存到一个名为储蓄．
trainOpts。SaveAgentCriteria =“EpisodeReward”；trainOpts.SaveAgentValue＝500; trainOpts.SaveAgentDirectory =“savedAgents”；
最后，关闭命令行显示。打开Reinforcement Learning Episode Manager，这样您就可以直观地观察训练进度。
trainOpts。Verbose = false; trainOpts.Plots =“训练进步”；
你现在可以训练PG特工了。对于本例中使用的预定义的车杆环境，您可以使用情节生成车杆系统的可视化。
情节(env)
当您运行此示例时，可视化和Reinforcement Learning Episode Manager都会随着每个培训章节而更新。将它们并排放在屏幕上观察进程，并训练代理。(此计算可能需要20分钟或更长时间。)
trainingInfo =火车(代理,env, trainOpts);
《Episode Manager》显示，训练成功达到了终止条件，即在前5集平均奖励500英镑。在每次训练中，火车更新代理使用上一集中学习的参数。当培训终止时，您可以使用经过培训的代理模拟环境以评估其性能。在模拟过程中，环境图会像在训练过程中一样进行更新。
simOptions=rlSimulationOptions(“MaxSteps”, 500);经验= sim (env,代理,simOptions);
在培训期间,火车将满足指定条件的任何代理保存到磁盘列车运营公司和trainOpts.SaveAgentValue．要测试这些代理的性能，可以从指定的文件夹中的数据文件加载数据trainOpts。SaveAgentDirectory，并使用该代理模拟环境。
培训多个代理执行协作任务
这个例子展示了如何在Simulink®环境中设置多智能体培训课程。万博1manbetx在本例中，训练两个代理协作执行移动对象的任务。
本例中的环境是一个无摩擦的二维表面，包含用圆表示的元素。目标物体C用半径为2米的蓝色圆圈表示，机器人A(红色)和B(绿色)用半径为1米的小圆圈表示。机器人试图通过碰撞施加力，将物体C移动到半径为8米的圆环外。环境中的所有元素都有质量，并遵循牛顿运动定律。此外，单元与环境边界之间的接触力被建模为弹簧和质量阻尼系统。这些元素可以通过在X和Y方向施加外力在表面上移动。在第三维中没有运动系统的总能量是守恒的。
创建本示例所需的参数集。
rlCollaborativeTaskParams
打开Simulin万博1manbetxk模型。
mdl =“rlCollaborativeTask”；open_system (mdl)
对于这种环境：
二维空间在X和Y方向上都从-12米到12米有界。
接触弹簧的刚度值为100n /m，阻尼值为0.1 N/m/s。
agent共享相同的位置、A、B、C的速度和上一次时间步长的动作值。
当对象C移出圆环时，模拟终止。
在每个时间步，代理都会收到以下奖励：
在这里:
和 分别为代理A和代理B所获得的奖励。
是当物体C向环的边界移动时，两个代理都收到的团队奖励。
和 是agent A和agent B所收到的局部惩罚，基于它们与物体C的距离和距离最后一个时间步骤的动作大小。
为物体C到环中心的距离。
和 分别为agent A和对象C、agent B和对象C之间的距离。
和 为agent A和agent B在上一个时间步骤中的动作值。
此示例使用具有离散操作空间的近端策略优化（PPO）代理。要了解有关PPO代理的更多信息，请参阅近端政策优化代理．这些代理在机器人上施加外力使其运动。在每个时间步骤中，代理选择操作 ,在那里 是下列两对外加力之一。
创造环境
要创建多代理环境，请使用字符串数组指定代理的块路径。另外，使用单元格数组指定观察和操作规范对象。单元格数组中的规范对象的顺序必须与块路径数组中指定的顺序匹配。当环境创建时MATLAB工作空间中有代理时，观察和动作规范数组是可选的。有关创建多代理环境的更多信息，请参见rl万博1manbetxSimulinkEnv．
为环境创建I/O规格。在本例中，代理是同构的，具有相同的I/O规范。
%观察次数numObs = 16;%行动次数numAct = 2;%最大外力值(N)maxF = 1.0;每个代理的% I/O规格oinfo=rlNumericSpec（[numObs，1]）；ainfo=rlFiniteSetSpec（{[-maxF-maxF][maxF 0][maxF-maxF][0-maxF][0][0 maxF][maxF-maxF][0 maxF]}）；oinfo.Name=“观察”；ainfo。Name =“力量”；
创建Simulink环万博1manbetx境接口。
黑色= [“rlCollaborativeTask/代理A”，“rlCollaborativeTask/Agent B”]; obsInfos={oinfo，oinfo}；actInfos={ainfo，ainfo}；环境=rlSimulinkE万博1manbetxnv（mdl、blks、obsInfos、ACTIFOS）；
指定环境的复位功能。重置功能resetRobots确保机器人在每一集开始时从随机的初始位置开始。
env.ResetFcn=@（in）resetRobots（in、RA、RB、RC、boundaryR）；
创建代理
PPO代理依靠演员和评论家代表来学习最优策略。在这个例子中，代理为演员和评论家维护基于神经网络的函数近似器。
建立批评神经网络和表示。评价网络的输出是状态值函数 为国家 ．
%重置随机种子以提高重现性rng (0)%评论家网络criticNetwork = [．..featureInputLayer (oinfo.Dimension (1),“归一化”，“没有”，“名字”，“观察”) fullyConnectedLayer (128,“名字”，“CriticFC1”，“WeightsInitializer”，“他”) reluLayer (“名字”，“CriticRelu1”) fullyConnectedLayer (64,“名字”，“CriticFC2”，“WeightsInitializer”，“他”) reluLayer (“名字”，“CriticRelu2”) fullyConnectedLayer (32,“名字”，“CriticFC3”，“WeightsInitializer”，“他”) reluLayer (“名字”，“CriticRelu3”) fullyConnectedLayer (1,“名字”，“CriticOutput”));%评论家表示criticOpts = rlRepresentationOptions (“LearnRate”，1e-4）；criticA=rlValueRepresentation（关键网络，oinfo，“观察”, {“观察”}, criticOpts);criticB = rlValueRepresentation (criticNetwork oinfo,“观察”, {“观察”}, criticOpts);
参与者网络的输出是概率 在特定状态下采取每个可能的动作对 ．创建参与者神经网络和表示。
%的演员网络actorNetwork = [．..featureInputLayer (oinfo.Dimension (1),“归一化”，“没有”，“名字”，“观察”) fullyConnectedLayer (128,“名字”，“ActorFC1”，“WeightsInitializer”，“他”) reluLayer (“名字”，“ActorRelu1”) fullyConnectedLayer (64,“名字”，“ActorFC2”，“WeightsInitializer”，“他”) reluLayer (“名字”，“ActorRelu2”) fullyConnectedLayer (32,“名字”，“ActorFC3”，“WeightsInitializer”，“他”) reluLayer (“名字”，“ActorRelu3”) fullyConnectedLayer(元素个数(ainfo.Elements),“名字”，“行动”) softmaxLayer (“名字”，“SM”));%的演员表示actorOpts = rlRepresentationOptions (“LearnRate”1的军医);actorA = rlStochasticActorRepresentation (actorNetwork oinfo ainfo,．..“观察”, {“观察”}, actorOpts);actorB = rlStochasticActorRepresentation (actorNetwork oinfo ainfo,．..“观察”, {“观察”}, actorOpts);
创建代理。两个代理使用相同的选项。
agentOptions = rlPPOAgentOptions (．..“体验地平线”, 256,．..“ClipFactor”, 0.125,．..“EntropyLossWeight”, 0.001,．..“MiniBatchSize”, 64,．..“努梅波奇”3.．..“优势估计法”，gae的，．..“GAEFactor”, 0.95,．..“SampleTime”Ts,．..“DiscountFactor”, 0.9995);agentA = rlPPOAgent (actorA criticA agentOptions);agentB = rlPPOAgent (actorB criticB agentOptions);
在训练过程中，agent收集经验，直到达到256步的经验视界或事件结束，然后从64个经验的小批进行训练。本例使用目标函数剪辑因子0.125来提高训练稳定性，使用折扣因子0.9995来鼓励长期奖励。
培训代理商
指定以下培训选项来培训代理。
运行训练最多1000集，每集最多持续5000时间步。
当一个代理的平均奖励超过100个连续事件是-10或更多时停止训练。
maxEpisodes = 1000;maxSteps = 5 e3;trainOpts = rlTrainingOptions (．..“最大集”maxEpisodes,．..“MaxStepsPerEpisode”，maxSteps，．..“ScoreAveragingWindowLength”, 100,．..“阴谋”，“训练进步”，．..“StopTrainingCriteria”，“AverageReward”，．..“StopTrainingValue”, -10);
要训练多个代理，请指定一个代理数组火车函数。数组中的代理的顺序必须与环境创建期间指定的代理块路径的顺序匹配。这样做可以确保代理对象链接到环境中相应的I/O接口。根据可用的计算能力，培训这些代理可能需要几个小时才能完成。
垫文件rlCollaborativeTaskAgents里面有一组训练有素的特工。您可以加载该文件并查看代理的性能。亲自训练特工，集合doTraining来真正的．
doTraining = false;如果doTraining stats = trainOpts ([agentA, agentB]，env,trainOpts); / /获取数据其他的负载('rlCollaborativeTaskAgent.mat'）;结束
下图显示了训练进度的快照。由于训练过程的随机性，你可以期待不同的结果。
模拟代理
在环境中模拟训练有素的特工。
simOptions=rlSimulationOptions(“MaxSteps”, maxSteps);exp = sim(env，[agentA agentB]，simOptions);
输入参数
输出参数
提示
火车随着培训的进行，更新代理。为了保存原始的代理参数供以后使用，请将代理保存到一个mat文件中。默认情况下,调用
火车打开Reinforcement Learning Episode Manager，它让您可视化培训的进度。《Episode Manager》情节显示了每一集的奖励、运行的平均奖励价值和评论家的估计问0(针对有批评者的代理商)。章节管理器还显示各种章节和培训统计数据。要关闭强化学习集管理器，请设置情节选择列车来“没有”．如果您使用一个预定义的环境，其中有一个可视化，您可以使用
情节(env)使环境形象化。如果你叫情节(env)在培训之前，可视化将在培训期间更新，以使您能够可视化每一集的进度。（对于自定义环境，您必须实现自己的情节方法。）中规定的条件终止培训
列车感到满意。若要终止正在进行的培训，请在“强化学习集管理器”中单击停止训练．因为火车每集更新代理，您可以通过呼叫恢复培训火车(代理,env, trainOpts)同样，在不丢失第一次调用时学到的训练参数的情况下火车．在培训期间，您可以保存满足指定条件的候选代理
列车．例如，您可以保存任何集奖励超过一定值的代理，即使还未满足终止训练的总体条件。火车在指定的文件夹中的mat -文件中存储已保存的代理列车．保存的代理可能很有用，例如，它允许您测试在长时间运行的培训过程中生成的候选代理。保存条件和保存位置请参见rlTrainingOptions．
算法
一般来说,火车执行以下迭代步骤:
初始化
代理．每集:
重置环境。
得到最初的观察结果年代0从环境中。
计算初始作用一个0＝μ（年代0）.
将当前操作设置为初始操作(一个←一个0)，并将当前观测值设置为初始观测值(年代←年代0）.
当该集尚未结束或终止时：
用行动来改善环境一个获取下一个观察结果年代“至于报酬呢?r．
从经验中学习(年代，一个，r，年代').
计算下一个动作一个' =μ（年代').
用下一个操作更新当前操作(一个←一个')，并将当前的观测值更新为下一个观测值(年代←年代').
如果满足环境中定义的集终止条件，则中断。
如果训练终止条件定义为
列车满足条件，终止培训。否则，就开始下一集。
具体如何火车执行这些计算取决于代理和环境的配置。例如，在每一集的开始重置环境可以包括随机初始状态值，如果您配置您的环境这样做。
扩展功能
你也可以从以下列表中选择一个网站:
