创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本示例，请加载示例中使用的环境火车DDPG代理控制双积分系统．

加载预定义的环境。

获得观察和行动规范。

从环境观测和动作规范中创建PPO代理。

为了修改强化学习代理内部的深度神经网络，你必须首先提取行动者和批评者的表征。

从演员和批评者表示中提取深神经网络。

要查看网络，请使用阴谋函数。例如，查看参与者网络。

您可以修改Actor和批评网络并将其保存回代理。要修改网络，您可以使用深层网络设计师应用程序。要为每个网络打开应用程序，请使用以下命令。

在深层网络设计师，修改网络。例如，您可以向您的网络添加其他图层。修改网络时，请勿更改返回的网络的输入和输出层getModel．有关构建网络的更多信息，请参见使用深网络设计师构建网络．

要将修改的网络结构导出到MATLAB®工作区，请生成用于创建新网络的代码并从命令行运行此代码。请勿使用导出选项深层网络设计师．有关显示如何生成和运行代码的示例，请参阅使用深度网络设计器创建代理和使用图像观察训练．

对于此示例，用于创建修改的演员和批评网络的代码createModifiedNetworks.m．

每个修改过的网络都有一个附加的全康统计层和抵押者在他们的输出路径中。查看修改后的actor网络。

导出网络后，将网络插入到演员和评论家表示中。

最后，将修改过的参与者和批评者表示插入到参与者和批评者对象中。