负载预定义控制系统环境-MATLAB和Simulink-MathWorks Nordic万博1manbetx

负载预定义控制系统环境

强化学习工具箱™软件提供了几种预定义的控制系统环境，用于该环境，操作，观察，奖励和动态。您可以使用这些环境：

学习强化学习概念。
熟悉强化学习工具箱软件功能。
测试您自己的强化学习代理。

您可以加载以下预定义的MATLAB^®使用该系统的控制系统环境Rlpredefinedenv.函数。

环境	代理任务
手推车杆	通过使用离散或连续动作空间对移动的推车施加力来平衡推车上的杆。
双积分器	使用离散或连续动作空间控制二阶动态系统。
单摆与图像观察	使用离散或连续动作空间摆动并平衡单摆。

您还可以加载预定义的MATLAB网格世界环境。有关更多信息，请参见加载预定义网格世界环境。

车柱环境

预定推出的推车环境中的代理的目标是通过将水平力应用于推车来平衡移动推车上的杆。如果满足以下两个条件，则杆被认为成功平衡：

极角保持在垂直位置的给定阈值内，其中垂直位置是零弧度。
推车位置的大小保持在给定阈值以下。

有两个推车杆环境变体，由代理动作空间不同。

离散 - 代理可以施加一种力量F_最大值或-F_最大值去购物车，在哪里F_最大值是马克斯福斯环境的属性。
连续代理可以在范围内应用任何力[ -F_最大值那F_最大值].

要创建购物车环境，请使用Rlpredefinedenv.函数。

离散动作空间

Env = Rlpredefinedenv（'cartpole  - 离散');

连续动作空间

Env = Rlpredefinedenv（“CartPole Continuous”);

您可以使用情节函数。绘图显示推车作为蓝色方形，杆作为红色矩形。

情节(env)

要在培训期间可视化环境，请致电情节培训前，保持可视化图形打开。

有关显示如何在卡车环境中培训代理的示例，请参阅以下内容：

环境属性

所有物	描述	违约
`重力`	重力引起的加速度，单位为米/秒平方	`9.8`
`大篷车`	大车的质量（千克）	`1`
`马蹄菜`	电杆的质量（千克）	`０.１`
`长度`	杆的一半长度为米	`０．５`
`马克斯福斯`	最大水平力的大小，单位为牛顿	`10.`
`TS.`	采样时间(秒)	`0.02`
`塔特雷舍弧度`	弧度的极点阈值	`0.2094`
`Xthreshold.`	车的位置阈值以米为单位	`2.4`
`奖赏不落`	每次步骤奖励杆均衡	`1`
`PenaltyForFalling`	未能平衡杆的奖励罚款	离散,`-5` 连续 -`-50`
`状态`	环境状态，指定为具有以下状态变量的列向量：大车位置推车位置的衍生物杆角度极角导数	`[0 0 0]'`

行动

在推车杆环境中，代理使用单个动作信号与环境相互作用，施加到推车的水平力。环境包含此动作信号的规范对象。对于环境的环境：

离散的动作空间，规范是一个rlFiniteSetSpec对象。
连续动作空间，规范是一个rlNumericSpec对象。

有关从环境中获取操作规范的更多信息，请参阅getActionInfo。

观察

在cart-pole系统中，agent可以观察到系统中所有的环境状态变量环境状态。对于每个状态变量，环境包含一个rlNumericSpec观测规范。所有的状态都是连续的和无界的。

有关从环境中获取观测规范的详细信息，请参见getObservationInfo。

奖励

此环境的奖励信号由两部分组成。

每个时间步长的正奖励是杆的平衡，即推车和杆都仍然在其指定的阈值范围内。此奖励积累了整个培训集。要控制此奖励的大小，请使用奖赏不落环境的属性。
如果杆或推车在其阈值范围之外移动，则一次性负惩罚。此时，训练集停止。要控制此惩罚的大小，请使用PenaltyForFalling环境的属性。

双积分器环境

在预定义的双积分器环境中的代理的目标是通过应用力输入来控制二阶系统中的质量的位置。具体地，二阶系统是具有增益的双积分器。

当发生以下任一事件时，这些环境的培训课程结束：

质量从原点移动到一个给定的阈值。
状态向量的范数小于给定的阈值。

有两种双集成器环境变体，它们因代理操作空间而异。

离散 - 代理可以施加一种力量F_最大值或-F_最大值去购物车，在哪里F_最大值是马克斯福斯环境的属性。
连续代理可以在范围内应用任何力[ -F_最大值那F_最大值].

要创建双积分环境，请使用Rlpredefinedenv.函数。

离散动作空间

Env = Rlpredefinedenv（“双积分离散”);

连续动作空间

Env = Rlpredefinedenv（“双积分连续”);

您可以使用情节函数。plot将质量显示为一个红色矩形。

情节(env)

要在培训期间可视化环境，请致电情节培训前，保持可视化图形打开。

有关显示如何在Double Integrator环境中培训代理的示例，请参阅以下内容：

环境属性

所有物	描述	违约
`获得`	双积分增益	`1`
`TS.`	采样时间(秒)	`０.１`
`最大距离`	米距离距离阈值	`5.`
`守门员`	国家范围门槛	`0.01`
`问：`	用于奖励信号的观察组件的重量矩阵	`[10 0; 0 1]`
`R.`	奖励信号动作分量的权重矩阵	`0.01`
`马克斯福斯`	最大输入力（牛顿）	离散的：`2` 连续的：`正`
`状态`	环境状态，指定为具有以下状态变量的列向量：质量位置质量位置导数	`[0 0) '`

行动

在双积分环境中，智能体使用单个动作信号（施加在质量上的力）与环境交互。环境包含此动作信号的规范对象。对于具有以下特性的环境：

离散的动作空间，规范是一个rlFiniteSetSpec对象。
连续动作空间，规范是一个rlNumericSpec对象。

有关从环境中获取操作规范的更多信息，请参阅getActionInfo。

观察

在双积分器系统中，代理可以观察到环境状态变量环境状态。对于每个状态变量，环境包含一个rlNumericSpec观察规范。这两种状态都是连续的和无界的。

有关从环境中获取观测规范的详细信息，请参见getObservationInfo。

奖励

此环境的奖励信号是离散时间等效于以下连续时间奖励，类似于LQR控制器的成本函数。

$R. E. W. 一种 R. D. = - \int （ X' 问： X + 你' R. 你） D. T.$

这里：

问：和R.是环境属性。
X是环境状态矢量。
你是输入力。

这种奖励是整个训练集中的巨大奖励，即累积奖励。

图像观察的简单钟摆环境

这种环境是一个简单的无摩擦摆，最初悬挂在向下的位置。训练目标是使用最小的控制力使钟摆直立而不摔倒。

有两种简单的摆环境变体，它们根据agent的行动空间而不同。

离散代理可以应用-2那-1那0.那1，或者2到钟摆。
连续代理可以在范围内施加任何扭矩[-2那2].

要创建一个简单的摆动环境，请使用Rlpredefinedenv.函数。

离散动作空间

Env = Rlpredefinedenv（'SimpleDequeLumwithimage-离散');

连续动作空间

Env = Rlpredefinedenv（“SimplePendulumWithImage连续”);

有关显示如何在此环境中培训代理的示例，请参阅以下内容：

环境属性

所有物	描述	违约
`大量`	摆锤	`1`
`罗德长长`	摆锤长度	`1`
`杆惯性`	惯性的摆锤矩	`0.`
`重力`	重力引起的加速度，单位为米/秒平方	`9.81`
`受潮`	在摆锤运动上阻尼	`0.`
`MaximumTorque`	最大输入扭矩（牛顿）	`2`
`TS.`	采样时间(秒)	`0.05`
`状态`	环境状态，指定为具有以下状态变量的列向量：摆角摆角速度	`[0 0 ]'`
`问：`	用于奖励信号的观察组件的重量矩阵	`[1 0;0 0.1]`
`R.`	奖励信号动作分量的权重矩阵	`1e-3`