创建模板类

要定义自定义代理，首先创建一个类，该类是rl.agent.CustomAgent班级。例如，本主题描述了培训的自定义LQR代理火车定制LQR代理．作为您自己代理的起点，您可以打开并修改这个自定义代理类。要将示例文件添加到MATLAB路径并打开该文件，请在MATLAB命令行中输入以下代码。

AddPath（FullFile（MatlaBroot，“例子”，“rl”，“主要”））;编辑LQRCustomAgent.m

将类保存到自己的工作文件夹后，您可以从路径中删除示例文件。

rmpath (fullfile (matlabroot,“例子”，“rl”，“主要”））;

这个类具有以下类定义，它指示代理类名和关联的抽象代理。

Classdef.LQRCustomAgent < rl.agent.CustomAgent

要定义您的代理，您必须指定以下内容:

代理的属性

在属性部分，指定创建和培训代理所需的任何参数。这些参数包括:

有关潜在代理属性的更多信息，请参阅内置强化学习工具箱™代理的选项对象。

的rl.Agent.CustomAgent类已经包含代理示例时间的属性(采样时间)及动作及观察规范(ActionInfo.和ObservationInfo， 分别）。

自定义LQR代理定义了以下代理属性。

属性％Q.问％r.R%反馈增益K％折扣系数γ= 0.95%的批评家评论家K缓冲液%KBUFFER.% K的更新数KUpdate = 1估算器更新的％编号EstimateNum = 10结尾属性（Access = Private）计数器= 1 YBUFFER HBUFFER结尾

构造函数

要创建自定义代理，必须定义构造函数：

例如,LQRCustomAgent构造者定义了连续的动作和观察空间，并创建了一个批判的表示。的createCritic函数是一个可选的辅助功能，用于定义批评者表示。

函数obj = LQRCustomAgent (Q, R, InitialK)%检查输入参数的数量narginchk (3,3);%调用抽象类构造函数obj = obj@rl.agent.CustomAgent ();设置Q和R矩阵obj。问= Q; obj.R = R;定义观察和活动空间obj。ObservationInfo = rlNumericSpec([大小(Q, 1), 1]);obj。一个ctionInfo = rlNumericSpec([size(R,1),1]);%创建批评家表示obj。评论家= createCritic (obj);％初始化增益矩阵obj。K= InitialK;％初始化体验缓冲区obj。YBuffer = 0 (obj.EstimateNum, 1);num = size(Q,1) + size(R,1);obj。HBuffer = 0 (obj.EstimateNum, 0.5 * num * (num + 1));obj。KBuffer = cell(1,1000); obj.KBuffer{1} = obj.K;结尾

演员和评论家代表

如果您的学习算法使用评论家表示来估计长期回报，或者使用参与者来选择动作，或者两者都使用，那么您必须将它们添加为代理属性。然后，您必须在创建代理时创建这些表示;也就是说，在构造函数中。有关创建演员和评论家的更多信息，请参见创建策略和值函数表示．

例如，自定义LQR代理使用批评家表示，存储在其评论家财产，没有行为人。批评家的创作是在createCritic方法调用的Helper函数LQRCustomAgent构造函数。

函数nQ = size(obj. q,1);nR =大小(obj.R, 1);n = nQ + nR;的w0 = 0.1 * (0.5 * (n + 1) * n, 1);{@(x,u)，w0}，．..getObservationInfo (obj) getActionInfo (obj));critic.Options.GradientThreshold = 1;结尾

在这种情况下，评论家是rlQValueRepresentation目的。要创建此类表示，必须将句柄指定为自定义基本功能，在这种情况下computeQuadraticBasis函数。有关此评论家表示的更多信息，请参见火车定制LQR代理．

必要的功能

要创建自定义强化学习代理，您必须定义以下实现函数。要在您自己的代码中调用这些函数，请使用抽象基类的包装器方法。例如，打电话getActionImpl,使用getAction．包装器方法具有与实现方法相同的输入和输出参数。

在您的实施功能中，为评估您的演员和批评者表示，您可以使用GetValue.，getAction,getmaxqvalue.功能。

对于每一种情况，如果参与者或批评者网络使用递归神经网络，函数也可以在获得相应的网络输出后返回网络状态的当前值。

函数action = getActionImpl (obj,观察)

函数action = getActionImpl (obj,观察)给定系统的当前状态，返回一个操作Action = -obj.k *观察{：};结尾

函数动作= GetActionWithExpliationimpl（OBJ，观察）

函数动作= GetActionWithExpliationimpl（OBJ，观察）%给定当前的观察，选择一个动作动作= Getaction（OBJ，观察）;％为动作添加随机噪声num =大小(obj.R, 1);操作=操作+ 0.1*randn(num,1);结尾

函数action = learnImpl (obj,经验值)

函数action = learnImpl (obj,经验值)%解析输入的经验x = exp {1} {1};u = exp {2} {1};dx = exp {4} {1};y = (x ' * obj。问*x + u'*obj.R*u); num = size(obj.Q,1) + size(obj.R,1);在更新批评参数之前，％等待n步骤n = obj.estimateNum;h1 = computequadraticbasis（x，u，num）;H2 = ComputurequadraticBasis（DX，-Obj.k * dx，num）;h = h1  -  obj.gamma * h2;如果obj.counter <= n obj.ybuffer（obj.counter）= y;obj.hbuffer（obj.counter，:) = h;obj.counter = obj.counter + 1;别的％基于批量更新批评参数%的经验h_buf = obj.hbuffer;y_buf = objuffer;Theta =（h_buf'* h_buf）\ h_buf'* y_buf;obj.critic = setLearnableParameters（obj.critic，{theta}）;％基于新的批评参数获得新的增益矩阵obj。K= getNewK(obj);重置经验缓冲区obj。Counter = 1;obj。YBuffer = 0 (N, 1);obj。HBuffer = 0 (N, 0.5 * num * (num + 1));obj。KUpdate = obj.KUpdate + 1; obj.KBuffer{obj.KUpdate} = obj.K;结尾找到并返回一个带有探索的动作Action = GetActionWith expliver（Obj，Exp {4}）;结尾

可选功能

您还可以通过指定resetImpl函数的签名如下obj.是代理对象。使用此功能，您可以在培训之前将代理程序设置为已知或随机状态。

函数resetimpl（ob）

此外，您可以根据需要定义自定义代理类中的任何其他辅助函数。例如，自定义LQR代理定义了一个createCritic创建批评者表示的功能和一个getnewk.从训练的批评参数中导出反馈增益矩阵的函数。

创建自定义代理

定义自定义代理类后，在MATLAB工作区中创建一个实例。例如，要创建自定义LQR代理，请定义问，R,InitialK值并调用构造函数。

Q =[10 3 1; 3、5、4、1、4、9];R = 0.5 *眼(3);K0 =地方(A, B, [0.4, 0.8, 0.5]);代理= LQRCustomAgent (Q, R, K0);

验证环境对象之后，可以使用它来训练强化学习代理。有关训练自定义LQR代理的示例，请参见火车定制LQR代理．