监测GAN培训进展并确定常见失效模式- MATLAB和Simulink MathWorks美国拉美裔万博1manbetx

监测GAN培训进展并确定常见的失效模式

培训甘斯是一个具有挑战性的任务。这是因为发电机和鉴别器网络培训期间互相竞争。事实上,如果一个网络学习过快,那么其他网络可能从失败中学习。这常常会导致网络无法收敛。诊断问题和监控规模从0到1的发电机和鉴别器实现各自的目标你可以画出他们的分数。甘为例展示如何训练和情节的发电机和鉴别器分数,看看火车生成对抗网络(甘)。

鉴别器学会分类输入图像作为“真实”或“产生”。鉴频器的输出对应于一个概率 $\hat{Y}$ 输入图像属于类的“真实”。

发电机分数概率对应的均值鉴频器的输出为生成的图片:

$scoreGenerator = 的意思是 ({\hat{Y}}_{生成的}),$

在哪里 ${\hat{Y}}_{生成的}$ 包含生成的图像的概率。

考虑到 $1 - \hat{Y}$ 图像属于类的概率是“生成”,鉴别器分数的意思是输入图像的概率属于正确的类:

$scoreDiscriminator = \frac{1}{2} 的意思是 ({\hat{Y}}_{真正的}) + \frac{1}{2} 的意思是 (1 - {\hat{Y}}_{生成的}),$

在哪里 ${\hat{Y}}_{真正的}$ 包含了鉴频器输出概率生成真实的图片和实际的数量和图片传递到鉴频器是相等的。

在理想的情况下,分数是0.5。这是因为鉴别器不能区分真实和假的图像。然而,在实践中这种情况并不是唯一的案例中,您可以实现一个成功的氮化镓。

监控训练进度你可以直观地检查图像随着时间的推移和检查他们是否改善。如果图片不改善,那么你可以使用分数情节来帮助您诊断一些问题。在某些情况下,情节可以告诉你没有分继续训练,你应该停止,因为发生故障模式,训练不能恢复。下面告诉你寻找在得分图和生成的图像诊断一些常见的失效模式(收敛失败和模式崩溃),并提出可能的行动可以提高培训。

收敛失败

收敛时发生故障时发电机和鉴频器在训练没有达到一个平衡。

鉴频器占主导地位

这个场景发生在当发电机分数达到零或接近零,鉴别器分数达到或接近。

这个图显示了一个示例的鉴频器的发电机。注意,发电机分数趋于0,不恢复。在这种情况下,图像的鉴别器分类最正确。反过来,发电机不能产生任何图片愚弄鉴别器,从而无法学习。

如果分数不从这些值恢复为许多迭代,然后最好停止训练。如果发生这种情况,那么试着平衡发电机的性能和鉴别器:

削弱随机提供虚假标签真实图像的鉴别器(单边标签翻)
通过添加辍学层损害的鉴别器
提高发电机的能力来创建更多的功能通过增加滤波器的卷积层的数量
损害鉴别器通过减少其数量的过滤器

为一个例子,演示如何翻转真实图像的标签,看看火车生成对抗网络(甘)。

发电机占主导地位

这个场景发生在当发电机分数达到或接近。

这个图显示了一个示例生成器的鉴别器。注意,发电机分数去许多迭代。在这种情况下,发电机如何愚弄鉴别器几乎总是学习。早期,当这一切发生的时候在培训过程中,发电机可能会学习一个很简单的特性表示这傻瓜很容易鉴别器。这意味着所生成的图像可以很穷,尽管高分数。注意,在这个例子中,鉴别器的分数并不非常接近于零,因为它仍然能够正确分类一些真正的图像。