网络输入和输出尺寸

演员和评论家的网络输入和输出层的维度必须分别与相应的环境观察和行动通道的维度相匹配。从环境中获取动作和观察的规格env，使用getActionInfo而且getObservationInfo函数,分别。

actInfo = getActionInfo(env);obsInfo = getObservationInfo(env);

访问维属性。例如，获取第一个环境和动作通道的大小:

actSize = actInfo(1).尺寸;obsSize = obsInfo(1).尺寸;

在一般情况下actSize而且obsSize是行向量，其元素是相应维数的长度。例如，如果第一个观测通道是256 × 256的RGB图像，actSize是向量[2562563]．若要计算通道的总维度数，请使用刺激.例如，假设环境只有一个观测通道:

obsDimensions = prod(obsInfo.Dimensions);

为rlVectorQValueFunction批评家和rlDiscreteCategoricalActor参与者，您需要获得操作集的可能元素的数量。可以通过访问元素属性的操作通道。例如，假设环境只有一个操作通道:

actNumElements = numel(actInfo.Elements);

用于价值函数批评家的网络(例如AC、PG、PPO或TRPO代理中使用的网络)必须只接受观察结果作为输入，并且必须有单个标量输出。对于这些网络，输入层的尺寸必须与环境观测通道的尺寸匹配。有关更多信息，请参见rlValueFunction．

用于单输出Q-值函数批评的网络(例如在Q、DQN、SARSA、DDPG、TD3和SAC代理中使用的网络)必须将观察和操作都作为输入，并且必须有单个标量输出。对于这些网络，输入层的维度必须与用于观察和操作的环境通道的维度相匹配。有关更多信息，请参见rlQValueFunction．

用于多输出Q-值函数批判的网络(例如在Q、DQN和SARSA代理中使用的网络)只将观察结果作为输入，并且必须有一个输出层，其输出大小等于可能的离散动作的数量。对于这些网络，输入层的尺寸必须与环境观测通道的尺寸匹配。有关更多信息，请参见rlVectorQValueFunction．

对于行动者网络，输入层的尺寸必须与环境观测通道的尺寸匹配，输出层的尺寸必须如下所示。

深度神经网络

深度神经网络由一系列相互连接的层组成。你可以指定一个深度神经网络如下所示:

通常情况下，你构建神经网络的方法是将一系列的层堆叠在一起层对象，可能将这些数组添加到layerGraph对象，然后将最终结果转换为dlnetwork对象。

对于需要多个输入或输出层的代理，可以创建一个数组层每个输入路径(观察或操作)和每个输出路径(估计奖励或操作)的对象。然后将这些数组添加到layerGraph对象并将它们的路径连接在一起connectLayers函数。

你也可以创建你的深度神经网络深度网络设计器例如，请参见使用深度网络设计器创建代理和使用图像观察训练．

下表列出了强化学习应用程序中使用的一些常见的深度学习层。有关可用层的完整列表，请参见深度学习层列表．

的bilstmLayer而且batchNormalizationLayer强化学习不支持层。万博1manbetx

强化学习工具箱软件提供以下层，其中不包含可调参数(即在训练过程中更改的参数)。

您还可以创建自己的自定义层。有关更多信息，请参见定义自定义深度学习层．

在创建深度神经网络时，最好为每个输入路径的第一层和输出路径的最后一层指定名称。

以下代码创建并连接以下输入和输出路径:

observationPath = [featureInputLayer(4，“归一化”，“没有”，“名字”，“myobs”) fullyConnectedLayer(24日“名字”，“CriticObsFC1”) reluLayer (“名字”，“CriticRelu1”) fullyConnectedLayer(24日“名字”，“CriticObsFC2”));actionPath = [featureInputLayer(1，“归一化”，“没有”，“名字”，“myact”) fullyConnectedLayer(24日“名字”，“CriticActFC1”));commonPath = [additionLayer(2，“名字”，“添加”) reluLayer (“名字”，“CriticCommonRelu”) fullyConnectedLayer (1,“名字”，“输出”));criticNetwork = layerGraph(observationPath);关键网络= addLayers(关键网络，actionPath);criticNetwork = addLayers(criticNetwork,commonPath);关键网络= connectLayers(关键网络，“CriticObsFC2”，“添加/三机一体”）;关键网络= connectLayers(关键网络，“CriticActFC1”，“添加/ in2”）;criticNetwork = dlnetwork(criticNetwork);

对于所有的观察和操作输入路径，必须指定afeatureInputLayer作为第一层中的路径，用个数等于输入神经元个数的维度对应的环境通道。

可以查看深度神经网络的结构情节函数。

情节(layerGraph (criticNetwork))

由于网络的输出rlDiscreteCategoricalActor参与者必须代表执行每个可能动作的概率，软件自动添加一个softmaxLayer作为最终输出层，如果您没有明确指定它。在计算动作时，参与者然后对分布进行随机抽样以返回动作。

为深度神经网络确定层的数量、类型和大小可能是困难的，并且依赖于应用程序。然而，在决定函数逼近器的特性时，最关键的部分是它是否能够为您的应用程序逼近最优策略或贴现值函数，也就是说，它是否具有可以正确学习您的观察、行动和奖励信号的特征的层。

在构建人际网络时，考虑以下建议。

从神经网络创建和配置演员和评论家

要从你的深度神经网络创建一个评论家，使用rlValueFunction，rlQValueFunction或者(只要可能)rlVectorQValueFunction对象。要从深度神经网络为连续动作空间创建确定性参与者，请使用rlContinuousDeterministicActor对象。要从你的深度神经网络中创建一个随机参与者，可以使用rlDiscreteCategoricalActor或者一个rlContinuousGaussianActor对象。要配置参与者或批评者使用的学习率和优化，请在代理选项对象中使用优化器对象。

例如，为评论网络创建一个Q-value函数对象criticNetwork．然后创建一个批评家优化器对象criticOpts指定的学习率0.02梯度阈值1．

评论= rlQValueFunction(批评网络，obsInfo,actInfo，.．.“观察”, {“观察”}，“行动”, {“行动”});criticOpts = rlotimizeroptions (“LearnRate”, 0.02,.．.“GradientThreshold”1);

然后创建一个代理选项对象，并设置CriticOptimizerOptions的代理选项对象的criticOpts．最后创建代理时，将代理选项对象作为最后一个输入参数传递给代理构造函数。

当您创建深度神经网络并配置参与者或评论家时，请考虑使用以下方法作为起点。

此外，在配置深度神经网络代理时，请考虑以下提示。

循环神经网络

在创建用于除Q和SARSA之外的任何代理的actor或批评家时，可以使用循环神经网络(RNN)。这些网络是深度神经网络sequenceInputLayer输入层和至少一个具有隐藏状态信息的层，例如lstmLayer．当环境的状态不能包含在观察向量中时，它们特别有用。

对于同时拥有演员和评论家的代理，您必须对他们都使用RNN，或者不对他们中的任何一个使用RNN。您不能只对评论家或演员使用RNN。

当使用PG代理时，RNN的学习轨迹长度为整集。对于AC座席，NumStepsToLookAhead其options对象的属性被视为训练轨迹长度。对于PPO制剂，弹道长度是MiniBatchSize属性的选项对象。

对于DQN, DDPG, SAC和TD3，必须将轨迹训练的长度指定为大于1的整数SequenceLength属性的选项对象。

注意，对于连续动作空间PG、AC、PPO和TRPO代理，以及使用循万博1manbetx环神经网络(RNN)的SAC代理，或者任何具有多个输入路径并在任意路径中包含RNN的代理，都不支持代码生成。

有关策略和值函数的更多信息和示例，请参见rlValueFunction，rlQValueFunction，rlVectorQValueFunction，rlContinuousDeterministicActor，rlDiscreteCategoricalActor,rlContinuousGaussianActor．