网络的输入和输出尺寸

网络的输入和输出层的尺寸为你的演员和评论家必须匹配的尺寸相应的环境观察和行动通道,分别。从环境中获取操作和观测规范env,可以使用getActionInfo和getObservationInfo函数,分别。

actInfo = getActionInfo (env);obsInfo = getObservationInfo (env);

访问维每个通道的性质。例如,先的大小环境和行动通道:

actSize = actInfo (1) .Dimensions;obsSize = obsInfo (1) .Dimensions;

在一般情况下actSize和obsSize行向量的元素的长度对应的维度。例如,如果第一次观察到通道是由- 256 256 - RGB图像,actSize是向量(256 256)。计算的总数维度的通道,使用刺激例如,假设环境只有一个观测通道:

obsDimensions = prod (obsInfo.Dimensions);

为rlVectorQValueFunction批评家和rlDiscreteCategoricalActor演员,你需要获得可能的操作集的元素的数量。你可以通过访问元素属性的操作通道。例如,假设环境只有一个行动通道:

actNumElements =元素个数(actInfo.Elements);

网络价值函数的批评者(比如那些用于交流、PG, PPO或TRPO代理)必须采取只观察作为输入,必须有一个标量输出。对于这些网络输入层的尺寸必须匹配的尺寸环境观测通道。有关更多信息,请参见rlValueFunction。

对于网络批评核反应能量函数(比如那些用于Q, DQN,撒尔沙,DDPG, TD3,和囊剂)必须采取观察和行动作为输入,而且必须有一个标量输出。对于这些网络输入层的尺寸必须匹配的尺寸环境观察和操作的渠道。有关更多信息,请参见rlQValueFunction。

网络多输出核反应能量函数批评人士(如用于Q、DQN和撒尔沙代理)只需要观察作为输入,必须有一个输出层输出尺寸等于可能离散行为的数量。对于这些网络输入层的尺寸必须匹配的尺寸环境观测通道。有关更多信息,请参见rlVectorQValueFunction。

为演员网络输入层的尺寸必须匹配环境观测通道的尺寸和输出层的尺寸必须如下。

深层神经网络

深层神经网络由一系列相互关联的层次。您可以指定一个深层神经网络为以下之一:

通常,您构建神经网络通过叠加在一起的数组的层数层对象,可能增加这些数组layerGraph对象,然后将最终结果转换为一个dlnetwork对象。

对于需要多个输入或输出层的特工,你创建一个数组层对象为每个输入路径(观察或操作)和为每个输出路径(估计奖励或行动)。然后添加这些数组layerGraph对象和连接它们的路径一起使用connectLayers函数。

您还可以创建您的深层神经网络使用深层网络设计师应用。例如,明白了创建DQN代理使用深层网络设计师和训练使用图像的观察。

下表列出了一些常见的深度学习层强化学习应用程序中使用。可用层的完整列表,请参阅深度学习层的列表。

的bilstmLayer和batchNormalizationLayer不支持层强化学习。万博1manbetx

强化学习工具箱软件提供了以下层,它不包含可调参数(即参数变化在训练)。

您还可以创建自己的自定义层。有关更多信息,请参见定义定制的深度学习层。

当您创建一个深层神经网络,是一种很好的做法为第一层指定名称的每个输入路径和最后一层的输出路径。这些名字让你显式地连接网络路径,然后将每个网络输入层与适当环境的通道。

下面的代码创建和连接输入和输出路径如下:

%观察路径:层对象的数组observationPath = [featureInputLayer(4名=“obsInputLayer”)fullyConnectedLayer (24) reluLayer fullyConnectedLayer(24日Name =“ObsFC2”));%行动路径:层对象的数组actionPath = [featureInputLayer (Name =“actInputLayer”Name =) fullyConnectedLayer(24日“ActFC1”));%的共同路径:层对象的数组commonPath = [additionLayer(2名=“添加”)reluLayer fullyConnectedLayer (Name =“QValueOutputLayer”));%组装layerGraph对象criticNetwork = layerGraph (observationPath);criticNetwork = addLayers (criticNetwork actionPath);criticNetwork = addLayers (criticNetwork commonPath);%连接层criticNetwork = connectLayers (criticNetwork,“ObsFC2”,“添加/三机一体”);criticNetwork = connectLayers (criticNetwork,“ActFC1”,“添加/ in2”);%转换为一个dlnetwork对象criticNetwork = dlnetwork (criticNetwork);%显示可学的参数的数量总结(criticNetwork)

对所有观察和行动输入路径,您必须指定一个featureInputLayer第一层的路径,与一些输入神经元的数量等于维度对应环境的通道。

您可以查看您的深层神经网络使用的结构情节函数。

情节(layerGraph (criticNetwork))

因为网络的输出rlDiscreteCategoricalActor演员必须代表执行每个可能的行动的概率,软件自动添加一个softmaxLayer最后输出层如果不显式地指定它。计算行动时,演员然后随机样本分布返回一个行动。

确定数量、类型和大小的层深神经网络是很困难的,是依赖于应用程序的。然而,最重要的组件在决定函数近似者的特点是它能够近似最优政策或贴现值函数为您的应用程序,也就是说,层,是否能正确地学习你的观察的特点,行动,和奖励的信号。

构建网络时考虑以下建议。

创建和配置演员从神经网络和评论家

创建一个评论家从深层神经网络,使用一个rlValueFunction,rlQValueFunction或(只要有可能)rlVectorQValueFunction对象。创建一个确定性演员连续动作空间从深层神经网络,使用一个rlContinuousDeterministicActor对象。创建一个随机从深层神经网络使用一个演员rlDiscreteCategoricalActor或者一个rlContinuousGaussianActor对象。配置使用的学习速率和优化演员或评论家,优化器使用一个对象在一个代理的选择对象。

例如,创建一个核反应能量函数使用神经网络评论家criticNetwork和观测规范和环境的行动。通过附加参数也网络输入层的名称与观察和行动通道,分别。

评论家= rlQValueFunction (criticNetwork obsInfo actInfo,…ObservationInputNames = {“obsInputLayer”},…ActionInputNames =“actInputLayer”);

评论家,指定培训选项使用rlOptimizerOptions创建评论家优化器对象criticOpts,指定一个学习的速度0.02和一个梯度阈值1。

criticOpts = rlOptimizerOptions (LearnRate = 0.02,…GradientThreshold = 1);

然后创建一个代理对象,并设置CriticOptimizerOptions房地产代理的选择对象criticOpts。当最后你创建代理,通过代理选择代理对象作为最后的输入参数的构造函数。或者,您可以创建代理,然后访问它的选择对象,并修改选项,使用点符号。

当你创建深神经网络和配置您的演员或评论家,考虑使用以下方法作为一个起点。

此外,考虑下面的建议在配置你深层神经网络代理。

复发性神经网络

为使用任何代理创建演员或批评时除了问,撒尔沙,TRPO MBPO,你可以使用递归神经网络(RNN)。这些网络与一个深层神经网络sequenceInputLayer输入层和至少一层隐藏的状态信息,例如一个lstmLayer。他们可以特别有用的环境状态时不能包含在观测向量。

对于演员和评论家的代理,您必须使用一个RNN的他们,是否使用一个RNN的他们。你不能用一个RNN只批评或演员。

当使用PG代理,RNN的学习轨迹长度是整个事件。对于一个AC代理NumStepsToLookAhead属性选择的对象被当作训练轨迹长度。PPO代理,轨迹长度是MiniBatchSize它的选择对象的属性。

DQN、DDPG囊和TD3代理,您必须指定轨迹的长度大于1的整数的培训SequenceLength他们的选择对象的属性。

请注意,不支持代码生成连续动作空间PG, AC, PPO和TRPO万博1manbetx代理,和囊剂使用递归神经网络(RNN),或任何代理有多个输入路径和包含一个RNN的路径。

的更多信息和示例策略和价值功能,看看rlValueFunction,rlQValueFunction,rlVectorQValueFunction,rlContinuousDeterministicActor,rlDiscreteCategoricalActor,rlContinuousGaussianActor。