随机表示
强化学习代理的随机参与者表示
描述
该对象实现了一个函数近似器，用于在强化学习代理内作为随机参与者。随机参与者将观察值作为输入，返回一个随机动作，从而实现具有特定概率分布的随机策略。在创建随机表示对象，使用它创建合适的代理，例如rlACAgent或rlPGAgent代理。有关创建表示的详细信息，请参阅创建策略和价值功能表示。
创建
句法
描述
离散动作空间随机演员
碟形演员= rlStochasticActorRepresentation (___那选择权）碟形演员使用附加设置选项选择权，这是一个rlRepresentationOptions此语法设置选项财产碟形演员到选择权输入参数。您可以将此语法与前面的任何输入参数组合一起使用。
连续作用空间高斯算子
接触= rlStochasticActorRepresentation (___那选择权）接触使用附加选择权选项集，它是一个rlRepresentationOptions此语法设置选项财产接触到选择权输入参数。您可以将此语法与前面的任何输入参数组合一起使用。
输入参数
属性
对象功能
rlACAgent |
演员，评论家强化学习代理 |
rlPGAgent |
策略梯度强化学习代理 |
rlPPOAgent |
近端政策优化强化学习代理 |
rlSACAgent |
软演员-评论家强化学习代理 |
getAction |
获得代理或演员表示给定的环境观测行动 |
例子
利用深度神经网络创建离散随机参与者
创建观察规范对象（或者使用获取观测信息从环境中提取规范对象）。对于本例，请将观测空间定义为连续的四维空间，以便单个观测是包含四个双精度的列向量。
obsInfo=rlNumericSpec（[4 1]）；
创建操作规范对象（或者使用getActionInfo从环境中提取规范对象)。对于本例，将操作空间定义为由三个值-组成10那0.和10。
actInfo = rlFiniteSetSpec([-10 0 10]);
为参与者创建一个深度神经网络近似器。网络的输入(这里称为状态)必须接受四元素向量（刚定义的观测向量）obsInfo)及其输出(这里称为actionProb)必须是三元素向量。输出向量的每个元素必须介于0和1之间，因为它表示执行三个可能操作中的每个操作的概率（如actInfo)。使用softmax作为输出层强制执行此要求。
net=[featureInputLayer（4，“正常化”那'没有任何'那'姓名'那“国家”)完全连接层（3，'姓名'那“fc”)软MaxLayer('姓名'那“actionProb”));
使用随机表示，使用网络、观察和操作规范对象以及网络输入层的名称。
演员= rlStochasticActorRepresentation(净、obsInfo actInfo,“观察”那“国家”）
actor = rlStochasticActorRepresentation with properties:rlFiniteSetSpec: [1x1 rl.util.]rlNumericSpec] Options: [1x1 rl.option.rlRepresentationOptions]
为了验证你的演员，用getAction从观测向量返回一个随机行动[1 1 1 1]使用当前的网络的权重。
act=getAction（actor，{[1]}）；法案{1}
ans=10
利用深度神经网络创建连续随机行为体
创建观察规范对象（或者使用获取观测信息从环境中提取规范对象)。对于本例，将观测空间定义为连续的六维空间，因此单个观测是包含6个双精度的列向量。
obsInfo=rlNumericSpec（[6 1]）；
创建操作规范对象（或者使用getActionInfo从环境中提取规范对象)。对于这个例子，定义操作空间作为连续的二维空间中，使得单个动作是同时含有2个之间双打的列矢量-10和10。
actInfo=rlNumericSpec（[2 1]，“LowerLimit”, -10,'UpperLimit用户',10);
为参与者创建一个深度神经网络近似器。观察输入（此处称为肌瘤）必须接受六维矢量（观测矢量只是由下式定义obsInfo).输出（此处称为我的行为)必须是四维向量(是定义维数的两倍actInfo).输出向量的元素按顺序表示每个动作的所有平均值和所有标准偏差。
标准偏差必须是非负的，而平均值必须在输出范围内，这意味着网络必须有两条独立的路径。第一条路径用于平均值，任何输出非线性都必须进行缩放，以便能够在输出范围内产生值。第二条路径用于标准偏差，您可以可以使用softplus或relu层来强制非负性。
％输入路径层（6 1个输入和2由1个输出）inPath=[imageInputLayer（[6 1]，“正常化”那'没有任何'那'姓名'那“myobs”) fullyConnectedLayer (2'姓名'那“infc”));％2由1个输出%平均值的路径层（2×1输入和2×1输出）％使用scalingLayer按比例的范围内meanPath = [tanhLayer（'姓名'那“谭”);%输出范围:(-1,1)缩放层('姓名'那“规模”那“规模”，actInfo.UpperLimit）];％输出范围：（-10,10）%路径层用于标准偏差(2 * 1输入和输出)%使用软加层使其非负sdevPath=softplusLayer('姓名'那“splus”);%将两个输入（沿尺寸#3）合并形成一个（4×1）输出层outLayer = concatenationLayer（3,2，'姓名'那“平均值和sdev”);给网络对象添加层net=layerGraph（inPath）；net=addLayers（net，meanPath）；net=addLayers（net，sdevPath）；net=addLayers（net，outLayer）；%连接层：平均值路径输出必须连接到concatenationLayer的第一个输入净= connectLayers（净，“infc”那“双曲正切/”);%将inPath的输出连接到meanPath输入净= connectLayers（净，“infc”那“splus/in”);%将inPath的输出连接到sdevPath输入净= connectLayers（净，“规模”那“平均值和sdev/in1”);meanPath的％连接输出到gaussPars输入＃1净= connectLayers（净，“splus”那“平均值和sdev/in2”);sdevPath的％连接输出到gaussPars输入＃2%的阴谋网络地块（净）
为演员设置一些训练选项。
actorOpts = rlRepresentationOptions（'LearnRate'，8e-3，“梯度阈值”,1);
使用随机表示，使用网络、观察和操作规范对象、网络输入层的名称和选项对象。
actor=rl随机变量表示（网络、obsInfo、actInfo、，“观察”那“myobs”actorOpts)
actor = rlStochasticActorRepresentation with properties:rlNumericSpec . ObservationInfo: [1x1 rl.util.]rlNumericSpec] Options: [1x1 rl.option.rlRepresentationOptions]
要检查演员，请使用getAction从观测向量返回一个随机行动那些（6,1）使用当前的网络的权重。
act=getAction（actor，{one（6,1）}）；act{1}
ans=2x1单列向量-0.0763 9.6860
现在，您可以用演员来创建一个合适的试剂（如rlACAgent那rlPGAgent,或rlPPOAgent代理)。
从自定义基函数创建随机参与者
创建观察规范对象（或者使用获取观测信息从环境中提取规范对象)。对于这个例子，定义观察空间作为连续四维空间，使得单个观察是含有2个双打的列向量。
obsInfo=rlNumericSpec（[2 1]）；
基于自定义基函数随机演员不支持连续动作的空间。万博1manbetx因此，创建一个离散动作空间规范对象（或可替代地使用getActionInfo提取从环境利用离散动作空间说明书对象）。对于这个例子，定义操作空间的有限集合包括3个可能的值（命名7.那5.和3.在这种情况下）。
actInfo=rlFiniteSetSpec（[7 5 3]）；
创建自定义基函数。每个元素都是由定义的观测值的函数obsInfo。
myBasisFcn = @（myobs）[myobs（2）^ 2;myobs（1）;EXP（myobs（2））;ABS（myobs（1））]
myBasisFcn =function_handle与价值:@（myobs）[myobs（2）^ 2; myobs（1）; EXP（myobs（2））; ABS（myobs（1））]
参与者的输出是在中定义的动作之一actInfo，对应于softmax（W'*mybasiscn（myobs））它的值最高。W.是一个权值矩阵，包含可学习的参数，它必须具有与基函数输出长度相同的行数，以及与可能的操作数量相同的列数。
定义初始参数矩阵。
W0=兰特（4,3）；
创建演员。第一个参数是同时包含所述手柄到自定义函数和初始参数矩阵的两元件细胞。第二和第三个参数分别是观察与动作规范对象。
actor=rlstochasticatorRepresentation（{mybasiscn，W0}，obsInfo，actInfo）
actor = rlStochasticActorRepresentation with properties:rlFiniteSetSpec: [1x1 rl.util.]rlNumericSpec] Options: [1x1 rl.option.rlRepresentationOptions]
要检查您的演员，请使用getAction函数返回三种可能的操作之一，具体取决于给定的随机观测值和当前参数矩阵。
V =的getAction（演员，{兰特（2,1）}）
五=1x1单元阵列{[3]}
现在，您可以使用演员（以及评论家）创建合适的离散动作空间代理。
用递归神经网络生成随机参与者
在这个例子中，你创建一个使用递归神经网络离散动作空间随机演员。你也可以使用一个经常性的神经网络使用相同的方法连续随机演员。
创造一个环境，并获得观察和行动信息。
ENV = rlPredefinedEnv（“CartPole离散”)；obsInfo=getObservationInfo（env）；actInfo=getActionInfo（env）；numObs=obsInfo.Dimension（1）；numDiscreteAct=numel（actInfo.Elements）；
为演员创建递归深层神经网络。要创建递归神经网络，请使用序列输入层作为输入层，并至少包括一个第一层。
actorNetwork=[sequenceInputLayer（numObs，“正常化”那'没有任何'那'姓名'那“国家”)完全连接层（8，'姓名'那“fc”）reluLayer（'姓名'那“雷卢”）lstmLayer（8，“输出模式”那'序列'那'姓名'那“lstm”）fullyConnectedLayer（numDiscreteAct，'姓名'那'输出')软MaxLayer('姓名'那“actionProb”)];
为网络创建随机参与者表示。
ActorProptions=rlRepresentationOptions('LearnRate'1 e - 3,“梯度阈值”，1）；actor=rl随机性actor表示（actorNetwork、obsInfo、actInfo、，．..“观察”那“国家”，actorOptions）;
您还可以从以下列表中选择网站：
