rlDDPGAgent
深度确定性策略梯度强化学习主体
描述
深度确定性策略梯度(deep deterministic policy gradient, DDPG)算法是一种行动者-批评者、无模型、在线、非策略强化学习方法，计算出长期回报最大化的最优策略。动作空间只能是连续的。
有关更多信息，请参见深度确定性策略梯度代理．有关不同类型的强化学习代理的更多信息，请参见强化学习代理．
创建
语法
描述
从观察和操作规范中创建代理
代理= rlDDPGAgent (observationInfo,actionInfo)observationInfo以及动作规范actionInfo．
代理= rlDDPGAgent (observationInfo,actionInfo,initOpts)initOpts有关初始化选项的详细信息，请参阅rlAgentInitializationOptions．
指定代理选项
代理= rlDDPGAgent (___,代理)AgentOptions财产归代理输入参数。在前面语法中的任何输入参数之后使用此语法。
输入参数
属性
目标函数
例子
从观察和操作规范中创建DDPG代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本示例，请加载示例中使用的环境培训DDPG代理控制双积分系统．从环境中观察到的是一个包含质量的位置和速度的矢量。作用是一个标量，表示作用于物体上的力，从-开始连续变化2来2牛顿。
加载预定义环境env=rlPredefinedEnv(“DoubleIntegrator-Continuous”）;%获得观察和行动规范obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
% rng (0)
根据环境观察和操作规范创建策略梯度代理。
agent=rlDDPGAgent（obsInfo，actInfo）；
要检查你的代理，使用getAction从随机观察中返回动作。
getAction（代理，{rand（obsInfo（1.Dimension）}）
ans=1 x1单元阵列{[0.0182]}
现在可以在环境中测试和培训代理。
使用初始化选项创建DDPG代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本示例，请加载示例中使用的环境用图像观察训练DDPG Agent上摆和平衡摆．这个环境有两个观测值:一个50乘50的灰度图像和一个标量(钟摆的角速度)。这个作用是一个标量，表示从-连续范围的扭矩2来2Nm。
加载预定义环境env=rlPredefinedEnv(“SimplePendulumWithImage连续”）;%获得观察和行动规范obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
创建一个代理初始化选项对象，指定网络中每个隐藏的完全连接层必须具有128神经元(而不是默认的数字，256).
initOpts = rlAgentInitializationOptions (“NumHiddenUnit”,128);
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
% rng (0)
根据环境观察和行动规范创建DDPG代理。
代理= rlDDPGAgent (obsInfo actInfo initOpts);
将批判学习率降低到1e-3。
评论家= getCritic(代理);critic.Options.LearnRate = 1 e - 3;代理= setCritic(代理、批评);
从主体、行动者和批评者中提取深度神经网络。
actorNet = getModel (getActor(代理));criticNet = getModel (getCritic(代理));
显示批评网络的各层，并验证每个隐藏的全连接层有128个神经元
临界层
ans = 13x1图层数组:1“input_1”图像输入50 x50x1图片2 conv_1卷积64 3 x3x1旋转步[1]和填充[0 0 0 0]3‘relu_input_1 ReLU ReLU 4 fc_1完全连接128完全连接层5“input_2”功能输入1功能6 fc_2完全连接128完全连接层7“input_3”功能输入1功能8 fc_3完全Connected 128 fully Connected layer 9 'concat' concat连接沿尺寸1的3个输入的连接10 'relu_body' ReLU ReLU 11 'fc_body' fully Connected 128 fully Connected layer 12 'body_output' ReLU ReLU 13 'output' fully Connected 1 fully Connected layer
情节演员和评论家网络
情节(layerGraph (actorNet))
情节(layerGraph (criticNet))
要检查你的代理，使用getAction从随机观察中返回动作。
getAction（代理，{rand（obsInfo（1.Dimension），rand（obsInfo（2.Dimension）}）
ans=1 x1单元阵列{[-0.0364]}
现在可以在环境中测试和培训代理。
从演员和评论家创建DDPG代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本示例，请加载示例中使用的环境培训DDPG代理控制双积分系统．从环境中观察到的是一个包含质量的位置和速度的矢量。这个作用是一个标量，表示从-连续范围的力2来2牛顿。
env=rlPredefinedEnv(“DoubleIntegrator-Continuous”）;obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
创建一个评论家表示。
%创建一个网络用作潜在的评论家近似器statePath = imageInputLayer([obsInfo.Dimension(1) 1 1])，“归一化”,“没有”,“姓名”,“国家”）;actionPath = imageInputLayer([numel(actInfo) 1 1])，“归一化”,“没有”,“姓名”,“行动”); commonPath=[连接层（1,2，“姓名”,“concat”) quadraticLayer (“姓名”,“二次”) fullyConnectedLayer (1,“姓名”,“状态值”,“BiasLearnRateFactor”0,“偏见”，0）]；临界网络=层图（状态路径）；临界网络=添加层（临界网络，动作路径）；临界网络=添加层（临界网络，公共路径）；临界网络=连接层（临界网络，“国家”,“concat/in1”)；临界网络=连接层（临界网络，“行动”,“concat/in2”）;为评论家设置一些选项criticOpts=rlRepresentationOptions(“LearnRate”, 5 e - 3,“梯度阈值”,1);%基于网络逼近器创建批评家critic=rlQValueRepresentation（关键网络、obsInfo、actInfo、，．..“观察”, {“国家”}，“行动”, {“行动”}, criticOpts);
创建一个参与者表示。
%创建一个用作底层参与者近似器的网络actorNetwork=[imageInputLayer（[obsInfo.Dimension（1）1]，“归一化”,“没有”,“姓名”,“国家”)完全连接层（numel（actInfo），“姓名”,“行动”,“BiasLearnRateFactor”0,“偏见”, 0)];%为演员设置一些选项actorOpts=rlRepresentationOptions(“LearnRate”1 e-04“梯度阈值”,1);基于网络近似器创建参与者演员= rlDeterministicActorRepresentation (actorNetwork obsInfo actInfo,．..“观察”, {“国家”}，“行动”, {“行动”}，actorOpts）；
指定代理选项，并使用环境、参与者和评论家创建DDPG代理。
agentOpts = rlDDPGAgentOptions (．..“SampleTime”，环境运输署，．..“目标平滑因子”1 e - 3,．..“经验缓冲长度”，1e6，．..“折扣演员”,0.99,．..“MiniBatchSize”代理=rlDDPGAgent（演员、评论家、代理）；
要检查你的代理，使用getAction从随机观察中返回动作。
getAction(代理,{兰德(2,1)})
ans=1 x1单元阵列{[-0.4719]}
现在可以在环境中测试和培训代理。
用递归神经网络创建DDPG Agent
对于本示例，请加载示例中使用的环境培训DDPG代理控制双积分系统．从环境中观察到的是一个包含质量的位置和速度的矢量。这个作用是一个标量，表示从-连续范围的力2来2牛顿。
env=rlPredefinedEnv(“DoubleIntegrator-Continuous”）;
获取观察和行动规范信息。
obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
创建一个评论家表示。要创建递归神经网络，请使用sequenceInputLayer作为输入层，并包含lstmLayer作为其他网络层之一。
statePath = sequenceInputLayer (obsInfo.Dimension (1),“归一化”,“没有”,“姓名”,“myobs”）;actionPath = sequenceInputLayer(元素个数(actInfo),“归一化”,“没有”,“姓名”,“myact”); commonPath=[连接层（1,2，“姓名”,“concat”)雷卢耶(“姓名”,“relu”)第1层（8，“OutputMode”,“顺序”,“姓名”,“lstm”) fullyConnectedLayer (1,“姓名”,“状态值”,“BiasLearnRateFactor”0,“偏见”，0）]；临界网络=层图（状态路径）；临界网络=添加层（临界网络，动作路径）；临界网络=添加层（临界网络，公共路径）；临界网络=连接层（临界网络，“myobs”,“concat/in1”)；临界网络=连接层（临界网络，“myact”,“concat/in2”）;
为评论家设置一些选项。
criticOpts=rlRepresentationOptions(“LearnRate”, 5 e - 3,“梯度阈值”,1);
基于网络近似器创建批评家。
critic=rlQValueRepresentation（关键网络、obsInfo、actInfo、，．..“观察”, {“myobs”}，“行动”, {“myact”}, criticOpts);
创建一个参与者表示。
既然评论家有一个循环网络，那么演员也必须有一个循环网络。为参与者定义一个递归神经网络。
actorNetwork=[sequenceInputLayer（obsInfo.Dimension（1），“归一化”,“没有”,“姓名”,“myobs”)第1层（8，“OutputMode”,“顺序”,“姓名”,“lstm”)完全连接层（numel（actInfo），“姓名”,“myact”,“BiasLearnRateFactor”0,“偏见”, 0)];
演员的选择。
actorOpts=rlRepresentationOptions(“LearnRate”1 e-04“梯度阈值”,1);
创造演员。
演员= rlDeterministicActorRepresentation (actorNetwork obsInfo actInfo,．..“观察”, {“myobs”}，“行动”, {“myact”}，actorOpts）；
指定代理选项，并使用环境、参与者和评论家创建DDPG代理。要将DDPG代理与递归神经网络一起使用，必须指定序列长度大于1。
agentOpts = rlDDPGAgentOptions (．..“SampleTime”，环境运输署，．..“目标平滑因子”1 e - 3,．..“经验缓冲长度”，1e6，．..“折扣演员”,0.99,．..“SequenceLength”, 20岁,．..“MiniBatchSize”代理=rlDDPGAgent（演员、评论家、代理）；
要检查你的代理，使用getAction从随机观察中返回动作。
getAction（代理，{obsInfo.Dimension}）
ans=1 x1单元阵列{[-0.1483]}
现在可以在环境中测试和培训代理。
另见
rlAgentInitializationOptions|rlDDPGAgentOptions|rlQValueRepresentation|rlDeterministicActorRepresentation|深层网络设计师
您还可以从以下列表中选择网站：
