创建观察规范对象（或者使用获取观测信息从环境中提取规范对象)。对于该示例，将观察空间定义为连续的四维空间，因此单个观察是包含四个双打的列向量。

Obsinfo = rlnumericspec（[4 1]）;

创建操作规范对象（或者使用getActionInfo从环境中提取规范对象）。对于本例，将动作空间定义为连续二维空间，以便单个动作是包含两个双精度的列向量。

actInfo=rlNumericSpec（[21]）；

创建一个深度神经网络来近似Q值函数。该网络必须有两个输入，一个用于观察，一个用于行动。观察输入（此处称为myobs)必须接受一个四元向量(由obsInfo).操作输入（此处称为我的行为)必须接受一个双元素向量(由Actinfo.）.网络的输出必须是一个标量，表示agent从给定的观测开始并采取给定的行动时的预期累积长期回报。

观测路径层数百分比obsPath = [featureInputLayer (4'正常化'，“没有”，“名字”，“myobs”）全康连接层（1，“名字”，“obsout”)];％动作路径层actPath=[featureInputLayer（2，'正常化'，“没有”，“名字”，“我的行为”）全康连接层（1，“名字”，“actout”)];输出图层％常见路径comPath=[additionLayer（2，“名字”，“添加”）全康连接层（1，“名字”，“输出”)];给网络对象添加层网= addLayers (layerGraph (obsPath) actPath);网= addLayers(净,comPath);%连接层网= connectLayers(网络,“obsout”，“添加/in1”）;网= connectLayers(网络,“actout”，“添加/ in2”）;%的阴谋网络情节（网）

创造批评家rlQValueRepresentation，使用网络，观察和动作规范对象，以及网络输入层的名称。

评论家= rlQValueRepresentation(净、obsInfo actInfo,．..“观察”,{“myobs”},“行动”,{“我的行为”}）

批评家= rlQValueRepresentation与属性:ActionInfo: [1x1 rl.util.]。rlNumericSpec . ObservationInfo: [1x1 rl.util.]rlNumericSpec] Options: [1x1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用GetValue.函数使用当前网络权重返回随机观察和操作的值。

v=getValue（批评家，{rand（4,1）}，{rand（2,1）}）

v =单0.1102

现在，您可以使用批评家（以及演员）创建依赖于Q值函数批评家（例如rlQAgent，rlDQNAgent，萨金特,或rlDDPGAgent代理)。

这个例子展示了如何使用深度神经网络近似器为离散动作空间创建一个多输出q值函数批评家。

此评论家仅将观察视为输入，并将输出作为可能的动作的传输作为输出矢量。当代理从给定的观察开始时，每个元素表示预期的累积长期奖励，并且采用对应于输出向量中的元素的位置的动作。

创建观察规范对象（或者使用获取观测信息从环境中提取规范对象)。对于该示例，将观察空间定义为连续的四维空间，因此单个观察是包含四个双打的列向量。

Obsinfo = rlnumericspec（[4 1]）;

创建一个有限设定的动作规格对象(或可选使用)getActionInfo从具有离散动作空间的环境中提取规范对象）。对于本例，将动作空间定义为由三个可能值（命名为7，5和3.在这种情况下)。

actInfo=rlFiniteSetSpec（[7 5 3]）；

创建一个深度神经网络逼近器来逼近批评家中的Q值函数。网络的输入（这里称为myobs)必须接受四个元素的向量，如obsInfo．输出必须是单个输出层，其具有与可能的离散动作的数量一样多的元素（在这种情况下三个定义）Actinfo.）.

网= [featureInputLayer (4'正常化'，“没有”，“名字”，“myobs”）全康连接层（3，“名字”，“价值”)];

使用网络、观察规范对象和网络输入层的名称创建批评家。

评论家= rlQValueRepresentation(净、obsInfo actInfo,“观察”,{“myobs”}）

critic=rlQValueRepresentation with properties:ActionInfo:[1x1 rl.util.rlFiniteSetSpec]ObservationInfo:[1x1 rl.util.rlNumericSpec]选项：[1x1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用GetValue.函数返回使用当前网络权重的随机观测值。这三种可能的操作都有一个值。

v=getValue（批评家，{rand（4,1）}）

v =3x1单列向量0.7232 0.8177 -0.2212

您现在可以使用评论家（以及演员）来创建一个离散的动作空间代理，依赖于Q值函数评论家（例如rlQAgent，rlDQNAgent,或萨金特代理)。

创建一个有限集观察规范对象(或者使用获取观测信息从具有离散观测空间的环境中提取规范对象）。对于本例，将观测空间定义为具有4个可能值的有限集。

obsInfo=rlFiniteSetSpec（[7 5 3 1]）；

创建一个有限设定的动作规格对象(或可选使用)getActionInfo从具有离散操作空间的环境中提取规范对象)。在这个例子中，将动作空间定义为具有2个可能值的有限集。

actInfo=rlFiniteSetSpec（[4 8]）；

创建一个表以近似批评者内的价值函数。rlTable从观察和操作规范对象创建值表对象。

QTable = RLTable（ObsInfo，Actinfo）;

该表存储每个可能的观察操作对的值（表示预期的累积长期奖励）。每行对应于观察，并且每列对应于动作。您可以使用使用的表格访问该表桌子财产vtable.对象。每个元素的初始值为零。

qTable.表格

ans=4×20 0 0 0 0 0 0 0

您可以将该表初始化为任何值，在本例中为包含1通过8．

qTable.Table=重塑（1:8,4,2）

qTable = rlTable with properties: Table: [4x2 double]

使用该表以及观察和行动规范对象创建批评家。

批评家=rlQValueRepresentation（qTable、obsInfo、actInfo）

critic=rlQValueRepresentation with properties:ActionInfo:[1x1 rl.util.rlFiniteSetSpec]观测信息：[1x1 rl.util.rlFiniteSetSpec]选项：[1x1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用GetValue.函数使用当前表项返回给定观察和操作的值。

v = getValue(评论家,{5},{8})

v = 6

现在，您可以使用评论家(以及一个演员)来创建一个依赖于q值函数评论家(例如rlQAgent，rlDQNAgent,或萨金特代理)。

创建观察规范对象（或者使用获取观测信息从环境中提取规范对象)。对于该示例，将观察空间定义为连续的四维空间，因此单个观察是包含3个双打的列向量。

obsInfo=rlNumericSpec（[3 1]）；

创建操作规范对象（或者使用getActionInfo从环境中提取规范对象）。对于本例，将动作空间定义为连续的二维空间，以便单个动作是包含2个双精度的列向量。

actInfo=rlNumericSpec（[21]）；

创建自定义基础函数以近似批评者内的价值函数。自定义基函数必须返回列向量。每个矢量元素必须是分别定义的观测和动作的函数obsInfo和Actinfo.．

mybasisfcn = @（myobs，myact）[myobs（2）^ 2;Myobs（1）+ exp（ydact（1））;ABS（yryact（2））;Myobs（3）]

myBasisFcn =function_handle与价值:@ (myobs myact) [myobs (2) ^ 2; myobs (1) + exp (myact (1)); abs (myact (2)); myobs (3))

批评家的输出是标量w'* mybasisfcn（myobs，myact）， 在哪里W是一个权重列向量，其大小必须与自定义基函数输出的大小相同。此输出是代理从给定观察开始并采取最佳可能行动时的预期累积长期回报。W的元素是可学习的参数。

定义初始参数向量。

W0 = (1, 4, 4; 2);

创建批评家。第一个参数是包含自定义函数句柄和初始权重向量的两元素单元格。第二个和第三个参数分别是观察和操作规范对象。

critic=rlQValueRepresentation（{myBasisFcn，W0}，obsInfo，actInfo）

批评家= rlQValueRepresentation with properties:ObservationInfo: [1×1 rl.util.]rlNumericSpec] Options: [1×1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用GetValue.函数使用当前参数向量返回给定观察-操作对的值。

v = getValue(批评家，{[1 2 3]'}，{[4 5]'})

v = 1×1 dlarray 252.3926

现在，您可以使用批评家（以及演员）创建依赖于Q值函数批评家（例如rlQAgent，rlDQNAgent，萨金特,或rlDDPGAgent代理)。

此示例显示如何使用自定义基本函数近似模拟创建多输出Q值功能批评批评批评。

此评论家仅将观察视为输入，并将输出作为可能的动作的传输作为输出矢量。当代理从给定的观察开始时，每个元素表示预期的累积长期奖励，并且采用对应于输出向量中的元素的位置的动作。

创建观察规范对象（或者使用获取观测信息从环境中提取规范对象)。在本例中，将观测空间定义为连续的四维空间，因此单个观测是包含2个双精度的列向量。

obsInfo=rlNumericSpec（[2 1]）；

创建一个有限设定的动作规格对象(或可选使用)getActionInfo从具有离散操作空间的环境中提取规范对象)。对于本例，将操作空间定义为一个有限集，包含3个可能的值(命名为7，5和3.在这种情况下)。

actInfo=rlFiniteSetSpec（[7 5 3]）；

创建自定义基础函数以近似批评者内的价值函数。自定义基函数必须返回列向量。每个向量元素必须是所定义的观察的函数obsInfo．

myobs = @(myobs) [myobs(2)^2;myobs (1);exp (myobs (2));abs (myobs (1)))

myBasisFcn =function_handle与价值:@ (myobs) [myobs (2) ^ 2; myobs (1); exp (myobs (2)); abs (myobs (1)))

评论家的输出是矢量c= w'* mybasisfcn（myobs）， 在哪里W是一个权值矩阵，它必须具有与基函数输出长度相同的行数，与可能的操作数量相同的列数。

c中的每一个元素都是agent从给定的观察开始并采取与所考虑元素位置相对应的动作时所期望的累积长期报酬。W的元素是可学习的参数。

定义初始参数矩阵。

W0=兰特（4,3）；

创建批评家。第一个参数是包含自定义函数句柄和初始参数矩阵的两元素单元格。第二个和第三个参数分别是观察和操作规范对象。

critic=rlQValueRepresentation（{myBasisFcn，W0}，obsInfo，actInfo）

critic=rlQValueRepresentation with properties:ActionInfo:[1x1 rl.util.rlFiniteSetSpec]ObservationInfo:[1x1 rl.util.rlNumericSpec]选项：[1x1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用GetValue.函数使用当前参数矩阵返回随机观测值。请注意，三种可能的操作各有一个值。

v = getValue（评论家，{rand（2,1）}）

V = 3x1 dlarray 2.1395 1.2183 2.3342

您现在可以使用评论家（以及演员）来创建一个离散的动作空间代理，依赖于Q值函数评论家（例如rlQAgent，rlDQNAgent,或萨金特代理)。

创建环境并获取观察和行动信息。

env = rlPredefinedEnv (“CartPole-Discrete”)；obsInfo=getObservationInfo（env）；actInfo=getActionInfo（env）；numObs=obsInfo.Dimension（1）；numDiscreteAct=numel（actInfo.Elements）；

为您的评论家创建一个经常性的深神经网络。要创建经常性的神经网络，请使用asequenceInputLayer作为输入层，并至少包括一个lstmlayer.．

创建用于多输出q值函数表示的递归神经网络。

临界网络=[sequenceInputLayer（numObs，'正常化'，“没有”，“名字”，“国家”) fullyConnectedLayer (50,“名字”，“CriticStateFC1”) reluLayer (“名字”，“CriticRelu1”)第1层（20，'OutputMode'，“序列”，“名字”，“CriticLSTM”)；完全连接层（20，“名字”，“CriticStateFC2”) reluLayer (“名字”，'transrelu2')完全连接层（numDiscreteAct，“名字”，“输出”)];

使用递归神经网络为您的批评者创建一个表示。

临界点=rlRepresentationOptions(“LearnRate”1 e - 3,“梯度阈值”，1）;评论家= rlqvalueerepresentation（批评，undernfo，Actinfo，．..“观察”，“国家”，批评）；