rlDQNAgent
深度Q网络强化学习agent
描述
Deep Q-Network（DQN）算法是一种无模型，在线，禁止策略强化学习方法。DQN代理是一个基于价值的强化学习代理，可以训练批准批评奖励或未来奖励。DQN是Q-Learning的变体，它仅在离散动作空间内运行。
有关更多信息,深Q-Network代理.有关不同类型的强化学习代理商的更多信息，请参阅强化学习代理.
创建
语法
描述
从观察和行动规范创建代理
代理= rlDQNAgent (observationInfo,actionInfo)observationInfo以及动作规范actionInfo.
代理= rlDQNAgent (observationInfo,actionInfo,initOpts)initOpts有关初始化选项的详细信息，请参阅rlAgentInitializationOptions.
从批评家表示创建代理
代理= rlDQNAgent (评论家)
指定代理选项
代理= rlDQNAgent (评论家,代理)AgentOptions财产归代理输入参数。在前面语法中的任何输入参数之后使用此语法。
输入参数
特性
目标函数
例子
从观察和操作规范创建DQN代理
创建具有离散动作空间的环境，并获得其观察和操作规范。对于此示例，请加载示例中使用的环境使用深度网络设计器创建代理和使用图像观察训练。此环境有两个观测值：一个50×50的灰度图像和一个标量（摆锤的角速度）。动作是一个标量，有五个可能的元素（扭矩为-2., -1.,0,1.,或2.Nm应用于摆动杆）。
％加载预定义环境env=rlPredefinedEnv(“SimplePendulumWithImage离散”）;%获得观察和行动规范obsInfo = getObservationInfo (env);Actinfo = GetActionInfo（ENV）;
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
％rng（0）
创建一个深度q网络代理，从环境观察和行动规范。
代理= rlDQNAgent (obsInfo actInfo);
检查您的代理人，使用getAction从随机观察返回动作。
getAction（代理，{rand（obsInfo（1.Dimension），rand（obsInfo（2.Dimension）}）
ans = 1
现在可以在环境中测试和培训代理。
使用初始化选项创建DQN代理
创建具有离散动作空间的环境，并获得其观察和操作规范。对于此示例，请加载示例中使用的环境使用深度网络设计器创建代理和使用图像观察训练。此环境有两个观测值：一个50×50的灰度图像和一个标量（摆锤的角速度）。动作是一个标量，有五个可能的元素（扭矩为-2., -1.,0,1.,或2.Nm应用于摆动杆）。
％加载预定义环境env=rlPredefinedEnv(“SimplePendulumWithImage离散”）;%获得观察和行动规范obsInfo = getObservationInfo (env);Actinfo = GetActionInfo（ENV）;
创建一个代理初始化选项对象，指定网络中每个隐藏的完全连接层必须具有128神经元（而不是默认号码，256).
Initopts = rlagentinitializationOptions（'numhidendentunit',128);
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
％rng（0）
根据环境观察和操作规范创建策略梯度代理。
代理= rlPGAgent (obsInfo actInfo initOpts);
将批评评论率降低到1E-3。
评论家=克罗里特（代理人）;批评.Options.Learnrate = 1E-3;代理= setcritic（代理商，批评者）;
从两个批评家身上提取深层神经网络。
批评= getModel（accritic（代理））;
默认的DQN代理使用多输出q值评估逼近器。多输出近似器将观察值作为输入，状态行为值作为输出。每个输出元素表示从观察输入所指示的状态中采取相应离散行动的预期累积长期回报。
显示批评网络的各层，并验证每个隐藏的全连接层有128个神经元
临界层
ans = 12x1 Layer array with layers:1的concat串联连接2输入沿着维度3 2的relu_body ReLU ReLU 3“fc_body”完全连接128完全连接层4的body_output ReLU ReLU 5 input_1的图像输入50 x50x1图片6 conv_1卷积64 3 x3x1旋转步[1]和填充[0 0 0 0]7‘relu_input_1 ReLU ReLU 8 fc_1完全连接10 'fc_2' fully connected 128 fully connected layer 11 'output' fully connected 1 fully connected layer 12 'RepresentationLoss' Regression output mean-平方误差
策划评论家网络
绘图（关键网）
检查您的代理人，使用getAction从随机观察返回动作。
getAction（代理，{rand（obsInfo（1.Dimension），rand（obsInfo（2.Dimension）}）
ans=1x1细胞阵列{[2]}
现在可以在环境中测试和培训代理。
使用多输出批读表示创建DQN代理
创建环境接口并获取其观察和操作规范培训DQN员工平衡车杆系统的例子。这个环境有一个连续的四维观察空间(车和杆的位置和速度)和一个离散的一维作用空间，由两个可能的力的应用组成，-10N或10N。
％加载预定义环境env=rlPredefinedEnv(“cartpole - 离散”）;%获取观察和操作规范对象obsInfo = getObservationInfo (env);Actinfo = GetActionInfo（ENV）;
对于具有离散操作空间的代理，您可以选择创建多输出批评表示，这通常比可比的单输出批评表示更有效。
多输出批读仅具有作为输入的观察，以及具有与可能的离散动作的数量一样多的元素的输出向量。每个输出元素代表在拍摄相应的离散动作时从给出的观察结果之后的预期累积长期奖励。
使用深神经网络近似器创建多输出批读表示。
％创建一个深度神经网络近似器%观测输入层必须有4个元素(obsInfo.Dimension(1))动作输出层必须具有2个元素（长度（actinfo.elements））dnn = [imageInputlayer（[obsInfo.dimension（1）1 1]，'正常化',“没有”,“姓名”,“国家”) fullyConnectedLayer(24日“姓名”,“CriticStateFC1”)雷卢耶(“姓名”,'rictrelu1') fullyConnectedLayer(24日“姓名”,“CriticStateFC2”)雷卢耶(“姓名”,“CriticCommonRelu”)完整连接层（长度（actInfo.元素），“姓名”,“输出”)];％为评论家设置一些选项criticOpts=rlRepresentationOptions(“LearnRate”，0.01，“梯度阈值”,1);%基于网络逼近器创建批评家评论家= rlqvalueerepresentation（DNN，Obsinfo，Actinfo，“观察”，{“国家”}, criticOpts);
指定代理选项，并使用批评者创建DQN代理。
agentOpts=rlDQNAgentOptions(．..“UsedDoubledQn”假的,．..“TargetUpdateMethod”,“定期”,．..'targetupdatefrquency'，4，．..“经验缓冲长度”,100000,．..“折扣演员”,0.99,．..'minibatchsize', 256);代理= rlDQNAgent(评论家,agentOpts)
agent=rlDQNAgent，属性为：AgentOptions:[1x1 rl.option.rlDQNAgentOptions]ExperienceBuffer:[1x1 rl.util.ExperienceBuffer]
要检查代理，请使用getAction从随机观察返回操作。
GetAction（代理，{rand（4,1）}）
ans = 10.
现在可以根据环境测试和培训代理。
使用单输出批读表示创建DQN代理
创建环境接口并获取其观察和操作规范培训DQN员工平衡车杆系统的例子。这个环境有一个连续的四维观察空间(车和杆的位置和速度)和一个离散的一维作用空间，由两个可能的力的应用组成，-10N或10N。
％加载预定义环境env=rlPredefinedEnv(“cartpole - 离散”）;%获取观察和规格信息obsInfo = getObservationInfo (env);Actinfo = GetActionInfo（ENV）;
使用深度神经网络近似器创建单个输出批评家表示。它必须将观察和行动作为输入层，并具有单个标量输出，表示给定观察和行动的预期累积长期回报。
％创建一个深度神经网络近似器%观测输入层必须有4个元素(obsInfo.Dimension(1))%操作输入层必须有1个元素(actInfo.Dimension(1))%输出必须是一个标量statePath=[featureInputLayer（obsInfo.Dimension（1），'正常化',“没有”,“姓名”,“国家”) fullyConnectedLayer(24日“姓名”,“CriticStateFC1”)雷卢耶(“姓名”,'rictrelu1') fullyConnectedLayer(24日“姓名”,“CriticStateFC2”)]; actionPath=[featureInputLayer（actInfo.维度（1），'正常化',“没有”,“姓名”,“行动”) fullyConnectedLayer(24日“姓名”,'批评FC1')]；commonPath=[additionLayer（2，“姓名”,“添加”)雷卢耶(“姓名”,“CriticCommonRelu”) fullyConnectedLayer (1,“姓名”,“输出”)];批判性=图表图（州路）;批评网络= addlayers（批判性，ActionPath）;批评网络= addlayers（批判性，commonpath）;criticNetwork = connectLayers (criticNetwork,“CriticStateFC2”,“添加/三机一体”）;criticNetwork = connectLayers (criticNetwork,'批评FC1',“添加/ in2”）;％为评论家设置一些选项criticOpts=rlRepresentationOptions(“LearnRate”，0.01，“梯度阈值”,1);%基于网络逼近器创建批评家critic=rlQValueRepresentation（关键网络、obsInfo、actInfo、，．..“观察”，{“国家”}，'行动'，{“行动”}, criticOpts);
指定代理选项，并使用批评者创建DQN代理。
agentOpts=rlDQNAgentOptions(．..“UsedDoubledQn”假的,．..“TargetUpdateMethod”,“定期”,．..'targetupdatefrquency'，4，．..“经验缓冲长度”,100000,．..“折扣演员”,0.99,．..'minibatchsize', 256);代理= rlDQNAgent(评论家,agentOpts)
agent=rlDQNAgent，属性为：AgentOptions:[1x1 rl.option.rlDQNAgentOptions]ExperienceBuffer:[1x1 rl.util.ExperienceBuffer]
要检查代理，请使用getAction从随机观察返回操作。
GetAction（代理，{rand（4,1）}）
ans = 10.
现在可以根据环境测试和培训代理。
用递归神经网络创建DQN智能体
创造一个环境，并获得观察和行动信息。
env=rlPredefinedEnv(“CartPole离散型”）;obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);numObs = obsInfo.Dimension (1);numDiscreteAct =元素个数(actInfo.Elements);
为您的评论家创建一个经常性的深神经网络。要创建经常性的神经网络，请使用asequenceInputLayer作为输入层并包括一个lstmlayer.作为其他网络层之一。
对于DQN代理，只有多输出Q值函数表示支持经常性的神经网络。万博1manbetx
批判性= [sequenceInputlayer（numobs，'正常化',“没有”,“姓名”,“国家”)完全连接层（50，“姓名”,“CriticStateFC1”)雷卢耶(“姓名”,'rictrelu1') lstmLayer (20'OutputMode',“顺序”,“姓名”,“CriticLSTM”)；完全连接层（20，“姓名”,“CriticStateFC2”)雷卢耶(“姓名”,'transrelu2')完全连接层（numDiscreteAct，“姓名”,“输出”)];
使用经常性神经网络创建评论家的代表。
criticOptions = rlRepresentationOptions (“LearnRate”1 e - 3,“梯度阈值”,1);critic=rlQValueRepresentation（关键网络、obsInfo、actInfo、，．..“观察”,“国家”，批评）；
指定用于创建DQN代理的选项。要使用递归神经网络，必须指定序列长度大于1。
代理选项= rldqnagentoptions（．..“UsedDoubledQn”假的,．..“TargetSmoothFactor”，5e-3，．..“经验缓冲长度”，1e6，．..“SequenceLength”, 20);agentOptions.EpsilonGreedyExploration.EpsilonDecay = 1的军医;代理= rlDQNAgent(评论家,agentOptions);
你也可以从以下列表中选择一个网站:
