自动微分背景

什么是自动区别？

自动分化（也被称为autodiff，广告，要么算法分化）是深度学习一种广泛使用的工具。看到在自动微分书籍。它是用于创建和训练复杂深刻的学习模式，而无需人工计算衍生工具的优化尤其有用。对于示例来说明如何创建和自定义深度学习模式，培训环路，损失函数，见定义定制培训循环，损失函数，与网络。

自动分化是一组用于评估数值衍生物（梯度）技术。该方法使用用于区分符号规则，这比有限差分近似更准确。不同于纯粹的象征性的方法，自动微分计算表达式的计算数值早，而不是进行大符号计算。换句话说，自动微分计算在特定数值衍生物;它不构造符号表达式为衍生物。

转发模式评估通过与评价函数本身的操作同时执行的基本操作衍生物的数值衍生物。如在下一节中所详述，该软件执行上的计算图表这些计算。
反向模式自动微分使用正向模式计算图形的延伸通过该图的反向遍历以使梯度的计算。由于软件运行的代码来计算函数及其导数，它在数据结构称为记录操作跟踪。

正如许多研究者已经注意到（例如，Baydin，Pearlmutter，拉杜尔和西斯金德[1]），对于许多变量的标量函数，反向模式比正向模式更高效地计算出梯度。由于深学习损失函数是所有的权重的标量函数，深度学习工具箱™自动分化采用反向模式。

转发模式

考虑评估该函数及其梯度的问题：

$F （ X ） = X_{1} EXP （ - \frac{1}{2} （ X_{1}^{2} + X_{2}^{2} ））。$

自动分化工作在特定的点。在这种情况下，采取X₁= 2，X₂= 1/2。

以下计算图形编码函数的计算F（X）。

为了计算的梯度F（X使用正向模式），则计算在同一方向同一图形，但修改基于差异化的基本规则计算。为了进一步简化计算，则在各衍生物的子表达式的值填ü_一世当你去时。计算整个梯度，必须为相对于每个独立变量的偏导数遍历图形两次，一次。链中的规则中的每个子表达式具有一个数字值，所以整个表达具有相同的排序评价图表作为函数本身。

计算是链式法则的重复应用。在这个例子中，所述衍生物的F关于X₁扩展为以下表达式：

$\begin{matrix} \frac{d F}{d X_{1}} = \frac{d ü_{6}}{d X_{1}} \\ = \frac{\partial ü_{6}}{\partial ü_{- 1}} + \frac{\partial ü_{6}}{\partial ü_{五}} \frac{\partial ü_{五}}{\partial X_{1}} \\ = \frac{\partial ü_{6}}{\partial ü_{- 1}} + \frac{\partial ü_{6}}{\partial ü_{五}} \frac{\partial ü_{五}}{\partial ü_{4}} \frac{\partial ü_{4}}{\partial X_{1}} \\ = \frac{\partial ü_{6}}{\partial ü_{- 1}} + \frac{\partial ü_{6}}{\partial ü_{五}} \frac{\partial ü_{五}}{\partial ü_{4}} \frac{\partial ü_{4}}{\partial ü_{3}} \frac{\partial ü_{3}}{\partial X_{1}} \\ = \frac{\partial ü_{6}}{\partial ü_{- 1}} + \frac{\partial ü_{6}}{\partial ü_{五}} \frac{\partial ü_{五}}{\partial ü_{4}} \frac{\partial ü_{4}}{\partial ü_{3}} \frac{\partial ü_{3}}{\partial ü_{1}} \frac{\partial ü_{1}}{\partial X_{1}} 。 \end{matrix}$

让 ${\dot{ü}}_{一世}$ 表示表达式的衍生物ü_一世关于X₁。使用的评价值ü_一世从功能评价，则计算的偏导数F关于X₁如示于下图。请注意的所有值 ${\dot{ü}}_{一世}$ 当你从顶部穿过图表底部变得可用。

为了计算相对于该偏导数X₂，你穿越了类似的计算图表。因此，当计算函数的梯度，图遍历的数量是相同的变量数。这个过程是典型的深学习应用程序，其中有变数成千上万太慢。

反向模式

反向模式使用的计算图表的一个向前遍历设置跟踪。然后，它计算该函数的整个渐变中在相反方向上的曲线图的一个遍历。对于深学习应用，这种模式更为高效。

后面反向模式的理论也基于链式法则，与上划线表示相关联的伴随变量一起。对于伴随变量ü_一世是

${\bar{ü}}_{一世} = \frac{\partial F}{\partial ü_{一世}} 。$

在所述计算图中，从一个可变有助于对应伴随变量通过其在链中规则术语每个传出箭头的条款。例如，可变ü_-1具有出射箭头两个变量ü₁和ü₆。该图有关联的方程

$\begin{matrix} \frac{\partial F}{\partial ü_{- 1}} = \frac{\partial F}{\partial ü_{1}} \frac{\partial ü_{1}}{\partial ü_{- 1}} + \frac{\partial F}{\partial ü_{6}} \frac{\partial ü_{6}}{\partial ü_{- 1}} \\ = {\bar{ü}}_{1} \frac{\partial ü_{1}}{\partial ü_{- 1}} + {\bar{ü}}_{6} \frac{\partial ü_{6}}{\partial ü_{- 1}} 。 \end{matrix}$

在这个计算中，回顾说， $ü_{1} = ü_{- 1}^{2}$ 和ü₆=ü_五ü_-1，您将获得

${\bar{ü}}_{- 1} = {\bar{ü}}_{1} 2 ü_{- 1} + {\bar{ü}}_{6} ü_{五} 。$

在图的遍历向前，软件计算中间变量ü_一世。在反向遍历，从种子值开始 ${\bar{ü}}_{6} = \frac{\partial F}{\partial F} = 1$ ，反向模式计算得到的所有变量的伴随值。因此，反向模式，计算在短短一个计算梯度，节约了大量时间相比，转发模式。

下图显示了梯度的在反向模式的功能的计算

$F （ X ） = X_{1} EXP （ - \frac{1}{2} （ X_{1}^{2} + X_{2}^{2} ））。$

再次，计算需要X₁= 2，X₂= 1/2。反向模式中的计算依赖于ü_一世被该函数的原始计算图形的计算过程中获得的值。在该图的右侧部分，伴随变量的计算的值旁边显示的伴随变量名，使用该公式从该图的左侧部分。

最终梯度值如出现 ${\bar{ü}}_{0} = \frac{\partial F}{\partial ü_{0}} = \frac{\partial F}{\partial X_{2}}$ 和 ${\bar{ü}}_{- 1} = \frac{\partial F}{\partial ü_{- 1}} = \frac{\partial F}{\partial X_{1}}$ 。

有关更多细节，参见Baydin，Pearlmutter，拉杜尔，和西斯金德[1]或自动分化[2]的维基百科文章。

参考

[1] Baydin，A. G.，B. A. Pearlmutter，A.A拉杜尔，和J. M.西斯金德。“自动分化机器学习状况的调查研究。”该杂志的机器学习研究的，18（153），2018，第1-43。可在https://arxiv.org/abs/1502.05767。

[2]自动分化。维基百科。可在https://en.wikipedia.org/wiki/Automatic_differentiation。

也可以看看

dlarray|dlfeval|dlgradient|dlnetwork