主要内容

rlRepresentationOptions

为强化学习代理表示(批评者和参与者)设置的选项

创造

描述

实例

repOpts=rlRepresentationOptions创建一个默认选项集,用于创建强化学习参与者或批评者时的最后一个参数。可以使用点表示法修改对象属性。

实例

repOpts= rlRepresentationOptions (名称、值)创建具有指定属性的选项集性质使用一个或多个名称-值对参数。

性质

全部展开

表示的学习率,指定为一个正标量。如果学习率太低,那么培训需要很长时间。如果学习率过高,那么训练可能会达到次优结果或发散。

例子:“LearnRate”,0.025

用于训练表示网络的优化器,指定为以下值之一。

  • “亚当”-使用Adam优化器。您可以使用GradientDecayFactor平方半径衰减因子的字段OptimizerParameters选择。

  • “个”-使用随机梯度下降与动量(SGDM)优化器。可以使用。指定动量值推进力领域OptimizerParameters选择。

  • “rmsprop”-使用RMSProp优化器。您可以使用平方半径衰减因子的字段OptimizerParameters选择。

有关这些优化器的更多信息,请参见随机梯度下降法的算法部分trainingOptions在深度学习工具箱™。

例子:“优化”、“个”

可用于优化器的参数,指定为OptimizerParameters具有以下参数的对象。

参数 描述
推进力

上一步的贡献,指定为从0到1的标量。值为0表示前一步没有贡献。值为1表示最大贡献。

此参数仅在以下情况下适用:优化器“个”。在这种情况下,默认值为0.9。此默认值适用于大多数问题。

ε

分母偏移量,指定为正标量。优化器将这个偏移量加到网络参数更新中的分母上,以避免被零除掉。

此参数仅在以下情况下适用:优化器“亚当”“rmsprop”。在这种情况下,默认值为10–8。此默认值适用于大多数问题。

GradientDecayFactor

梯度移动平均的衰减率,指定为从0到1的正标量。

此参数仅在以下情况下适用:优化器“亚当”。在这种情况下,默认值为0.9。此默认值适用于大多数问题。

平方半径衰减因子

平方梯度移动平均的衰减率,指定为从0到1的正标量。

此参数仅在以下情况下适用:优化器“亚当”“rmsprop”.在这种情况下,默认值是0.999。这个默认值适用于大多数问题。

当一个特殊的性质OptimizerParameters的优化器类型不适用优化器选项时,该属性将被设置为“不适用”

若要更改默认值,请创建rlRepresentationOptions设置并使用点表示法来访问和更改OptimizerParameters

repOpts=rlRepresentationOptions;repOpts.OptimizerParameters.GradientDecayFactor=0.95;

表示梯度的阈值,指定为或者一个正标量。属性指定的渐变将被剪切梯度阈值法剪裁梯度限制了网络参数在训练迭代中的变化量。

例子:“梯度阈值”,1

梯度阈值方法,用于裁剪超过梯度阈值的梯度值,指定为以下值之一。

  • “l2norm”-如果L2.可学习参数的梯度范数大于梯度阈值,然后缩放渐变,使L2.规范=梯度阈值

  • “全局l2norm”—全局L2.规范,L,比梯度阈值,然后将所有梯度按……的倍数缩放梯度阈值/L.全球L2.Norm考虑了所有可学习的参数。

  • “绝对值”-如果可学习参数梯度中单个偏导数的绝对值大于梯度阈值,然后缩放偏导数,使其大小等于梯度阈值保留偏导数的符号。

有关更多信息,请参见梯度剪裁的算法部分trainingOptions在深度学习工具箱中。

例子:“GradientThresholdMethod”,“绝对值”

因素L2.正则化(权重衰减),指定为非负标量。有关详细信息,请参阅L2正则化的算法部分trainingOptions在深度学习工具箱中。

当使用带有多个参数的表示时,为了避免过拟合,可以考虑增加L2调节因子选择。

例子:“L2调节系数”,0.0005

用于在训练过程中进行梯度计算、参数更新和预测等深度神经网络操作的计算设备。它被指定为任意一种“cpu”“gpu”

这个“gpu”该选项需要两个并行计算工具箱™ 软件和CUDA®使英伟达®GPU。有关支持的GPU的更多信息,请参阅万博1manbetxGPU支万博1manbetx持情况(并行计算工具箱)

您可以使用gpuDevice(并行计算工具箱)查询或选择要与MATLAB一起使用的本地GPU设备®

笔记

在GPU上训练或模拟代理涉及特定于设备的数值四舍五入错误。与在CPU上执行相同的操作相比,这些错误会产生不同的结果。

请注意,如果要使用并行处理来加速训练,则不需要设置UseDevice.相反,在训练你的特工时,使用rlTrainingOptions对象,其中UseParallel选项设置为真正的. 有关使用多核处理器和GPU进行培训的更多信息,请参阅使用并行计算和gpu的列车代理

例子:“使用设备”,“gpu”

目标函数

rlValueRepresentation 强化学习agent的价值函数批评表示
rlQValueRepresentation 强化学习agent的Q值函数批评表示
决定论呈现 强化学习主体的确定性行为体表示
rlStochasticActorRepresentation 强化学习智能体的随机角色表示

例子

全部折叠

创建用于为强化学习代理创建批评家或参与者表示的选项集。将表示的学习速率设置为0.05,并将渐变阈值设置为1。创建选项集时,可以使用名称、值对设置选项。未显式设置的任何选项都有其默认值。

repOpts=rlRepresentationOptions(“LearnRate”5飞行,...“GradientThreshold”, 1)
repOpts=rlRepresentationOptions,属性:LearnRate:0.0500 GradientThreshold:1 GradientThresholdMethod:“l2norm”L2调节因子:1.0000e-04使用设备:“cpu”优化器:“adam”优化器参数:[1x1 rl.option.OptimizerParameters]

或者,创建一个默认选项集,并使用点符号来更改一些值。

repOpts = rlRepresentationOptions;repOpts。LearnRate = 5e-2; repOpts.GradientThreshold = 1
repOpts=rlRepresentationOptions,属性:LearnRate:0.0500 GradientThreshold:1 GradientThresholdMethod:“l2norm”L2调节因子:1.0000e-04使用设备:“cpu”优化器:“adam”优化器参数:[1x1 rl.option.OptimizerParameters]

如果您想要更改OptimizerParameters选项,使用点符号访问它们。

repOpts.OptimizerParameters.Epsilon = 1 e;repOpts。OptimizerParameters
ans = OptimizerParameters与属性:动量:“不适用”Epsilon: 1.0000e-07 GradientDecayFactor: 0.9000 SquaredGradientDecayFactor: 0.9990
在R2019a中引入