网络输入和输出维度

行动者和评论家的网络输入层和输出层的维度必须分别与相应的环境观察和行动通道的维度相匹配。从环境中获取动作和观察规范env，使用getActionInfo而且getObservationInfo函数,分别。

actInfo = getActionInfo(env);obsInfo = getObservationInfo(env);

访问维每个通道的属性。例如，获取第一个环境和动作通道的大小:

actSize = actInfo(1).Dimensions;obsSize = obsInfo(1).Dimensions;

在一般情况下actSize而且obsSize是行向量，其元素是相应维的长度。例如，如果第一个观测通道是256 * 256的RGB图像，actSize是向量[256 256 3]．若要计算通道的总维度数，请使用刺激.例如，假设环境只有一个观测通道:

obsDimensions = prod(obsInfo.Dimensions);

为rlVectorQValueFunction批评家和rlDiscreteCategoricalActoractor，您需要获得操作集的可能元素的数量。可以通过访问元素操作通道的属性。例如，假设环境只有一个操作通道:

actNumElements = numel(actInfo.Elements);

用于价值函数评估的网络(如AC、PG、PPO或TRPO代理中使用的网络)必须只将观察结果作为输入，并且必须有单个标量输出。对于这些网络，输入层的尺寸必须与环境观测通道的尺寸相匹配。有关更多信息，请参见rlValueFunction．

用于单输出Q值函数批评的网络(例如Q、DQN、SARSA、DDPG、TD3和SAC代理中使用的网络)必须将观察和操作同时作为输入，并且必须具有单个标量输出。对于这些网络，输入层的维度必须与用于观察和操作的环境通道的维度相匹配。有关更多信息，请参见rlQValueFunction．

用于多输出Q值函数批评的网络(例如Q、DQN和SARSA代理中使用的网络)只将观察结果作为输入，并且必须有一个输出层，其输出大小等于可能的离散动作的数量。对于这些网络，输入层的尺寸必须与环境观测通道的尺寸相匹配。有关更多信息，请参见rlVectorQValueFunction．

对于行动者网络，输入层的维度必须与环境观测通道的维度相匹配，输出层的维度必须如下所示。

深度神经网络

深度神经网络由一系列相互连接的层组成。您可以将深度神经网络指定为以下之一:

通常，你建立神经网络的方法是将许多层以数组的形式堆叠在一起层对象，可能会将这些数组添加到layerGraph对象，然后将最终结果转换为dlnetwork对象。

对于需要多个输入或输出层的代理，可以创建一个数组层每个输入路径(观察或操作)和每个输出路径(估计奖励或操作)的对象。然后将这些数组添加到alayerGraph对象，并将它们连接在一起connectLayers函数。

您还可以使用深度网络设计器示例请参见使用深度网络设计器创建代理，并使用图像观察进行训练．

下表列出了强化学习应用中常用的一些深度学习层。有关可用层的完整列表，请参见深度学习层列表．

的bilstmLayer而且batchNormalizationLayer层不支持强化学习。万博1manbetx

强化学习工具箱软件提供了以下层，其中不包含可调参数(即在训练过程中改变的参数)。

您还可以创建自己的自定义层。有关更多信息，请参见定义自定义深度学习层．

当你创建一个深度神经网络时，为每个输入路径的第一层和输出路径的最后一层指定名称是一个很好的实践。

下面的代码创建并连接以下输入和输出路径:

observationPath = [featureInputLayer(4，“归一化”，“没有”，“名字”，“myobs”) fullyConnectedLayer(24日“名字”，“CriticObsFC1”) reluLayer (“名字”，“CriticRelu1”) fullyConnectedLayer(24日“名字”，“CriticObsFC2”));actionPath = [featureInputLayer(1，“归一化”，“没有”，“名字”，“myact”) fullyConnectedLayer(24日“名字”，“CriticActFC1”));commonPath = [addtionlayer (2，“名字”，“添加”) reluLayer (“名字”，“CriticCommonRelu”) fullyConnectedLayer (1,“名字”，“输出”));criticNetwork = layerGraph(observationPath);criticNetwork = addLayers(criticNetwork,actionPath);criticNetwork = addLayers(criticNetwork,commonPath);临界网络= connectLayers(临界网络，“CriticObsFC2”，“添加/三机一体”）;临界网络= connectLayers(临界网络，“CriticActFC1”，“添加/ in2”）;临界网络= dlnetwork(临界网络);

对于所有观察和操作输入路径，必须指定featureInputLayer作为路径的第一层，具有与输入神经元的维数相等的相应环境通道。

，可以查看深度神经网络的结构情节函数。

情节(layerGraph (criticNetwork))

由于输出了一个网络中的rlDiscreteCategoricalActor参与者必须表示执行每个可能动作的概率，软件自动添加一个softmaxLayer作为最终输出层，如果您没有显式地指定它。在计算操作时，参与者然后随机采样分布以返回操作。

确定深度神经网络的层数、类型和大小可能很困难，并且依赖于应用程序。然而，在决定函数逼近器的特征时，最关键的部分是它是否能够为您的应用程序近似最优策略或贴现值函数，也就是说，它是否具有能够正确学习您的观察、行动和奖励信号的特征的层。

在构建你的网络时，考虑以下建议。

从神经网络创建和配置演员和评论家

从你的深度神经网络创建一个评论家，使用rlValueFunction，rlQValueFunction或者(只要可能)一个rlVectorQValueFunction对象。为了从深度神经网络中为连续动作空间创建确定性参与者，请使用rlContinuousDeterministicActor对象。要从你的深度神经网络创建一个随机参与者，可以使用rlDiscreteCategoricalActor或者一个rlContinuousGaussianActor对象。若要配置参与者或评论家使用的学习率和优化，请在代理选项对象中使用优化器对象。

例如，为评论家网络创建一个q值函数对象criticNetwork．然后创建一个批评家优化器对象criticOpts指定的学习率0.02的梯度阈值1．

rlQValueFunction(criticNetwork,obsInfo,actInfo，.．.“观察”, {“观察”}，“行动”, {“行动”});criticOpts = rlOptimizerOptions(“LearnRate”, 0.02,.．.“GradientThreshold”1);

然后创建一个代理选项对象，并设置CriticOptimizerOptions属性的代理选项对象criticOpts．最后创建代理时，将代理选项对象作为最后一个输入参数传递给代理构造函数。

当您创建深度神经网络并配置演员或评论家时，请考虑使用以下方法作为起点。

此外，在配置深度神经网络代理时，请考虑以下技巧。

循环神经网络

在创建用于除Q和SARSA之外的任何代理的演员或评论家时，您可以使用循环神经网络(RNN)。这些网络是深度神经网络sequenceInputLayer输入层和至少一个具有隐藏状态信息的层，例如lstmLayer．当环境具有不能包含在观测向量中的状态时，它们尤其有用。

对于同时具有演员和评论家的代理，必须对它们都使用RNN，或者对它们中的任何一个都不使用RNN。您不能仅为评论家或参与者使用RNN。

当使用PG代理时，RNN的学习轨迹长度为整个插曲。对于AC座席，请使用NumStepsToLookAhead其选项对象的属性被视为训练轨迹长度。对于PPO制剂，弹道长度为MiniBatchSize属性的options对象。

对于DQN、DDPG、SAC和TD3代理，必须指定轨迹训练的长度为大于1的整数SequenceLength属性。

请注意，连续动作空间PG、AC、PPO和TRPO代理以及使用循环神万博1manbetx经网络(RNN)的SAC代理不支持代码生成，也不支持具有多个输入路径并在任何路径中包含RNN的任何代理。

有关策略和值函数的更多信息和示例，请参见rlValueFunction，rlQValueFunction，rlVectorQValueFunction，rlContinuousDeterministicActor，rlDiscreteCategoricalActor,rlContinuousGaussianActor．