深度学习技巧和技巧- MATLAB和Simulink万博1manbetx - 万博1manbetx,s manbetx 845,万博尤文图斯

深度学习技巧和窍门

本页面描述了用于提高深度学习网络准确性的各种训练选项和技术。

选择网络体系结构

适当的网络架构取决于任务和可用数据。在决定使用哪种架构以及是否使用佩带的网络或从头开始训练时，请考虑这些建议。

数据	任务说明	了解更多
图片	自然图像分类	尝试不同的预训练网络。对于预训练的深度学习网络的列表，请参阅普里德深度神经网络．要学习如何使用深网络设计师互动地准备用于传输学习的网络，请参阅迁移学习深层网络设计者．
	自然图像的回归	尝试不同的预训练网络。有关如何将预先训练的分类网络转换为回归网络的示例，请参见分类转换成网络回归网络．
	非自然图像(如微小图像和光谱图)的分类和回归	例如，展示如何对微小图像进行分类，请参阅火车剩余网络进行图像分类．有关说明如何进行分类谱图示例，请参见基于深度学习的语音指令识别．
	语义细分	计算机视觉工具箱™提供工具来创建语义分割深刻的学习网络。有关更多信息，请参见使用深度学习开始使用语义分割(计算机视觉工具箱)．
序列，时间序列和信号	Sequence-to-label分类	例如，请参见基于深度学习的序列分类．
	序列到序列分类和回归	想要了解更多，请看序列对序列分类使用Deep学习和使用深度学习的序列到序列回归．
	时间序列预测	例如，请参见使用深度学习的时间序列预测．
文本	分类和回归	Text Analytics Toolbox™提供了为文本数据创建深度学习网络的工具。例如，请参见分类文本数据使用Deep学习．
文本	文本生成	例如，请参见使用深度学习生成文本．
音频	音频分类与回归	例如，请参见基于深度学习的语音指令识别．

选择培训选项

的培训选项功能提供了多种选择来训练你的深度学习网络。

提示	更多的信息
监控培训进度	要打开培训进度情节，请设置`“阴谋”`选项`培训选项`来`“训练进步”`．
使用验证数据	要指定验证数据，使用`'vightationdata'`选项`培训选项`．请注意如果验证数据集太小，不能充分表示数据，那么报告的度量标准可能对您没有帮助。使用过大的验证数据集会导致训练变慢。
对于转移学习，加快新层的学习并减慢转移层中的学习	通过使用指定更高学习速率因子对新的层，例如，该`WeightLearnRateFactor`财产`Convolution2Dlayer.`．使用初始学习率降低`'InitialLearnRate'`的选择`培训选项`．转移学习时，您无需为尽可能多的时期培训。使用该减少时代的数量`“MaxEpochs”`选项`培训选项`．要学习如何使用深网络设计师互动地准备用于传输学习的网络，请参阅迁移学习深层网络设计者．
洗牌您的数据每一个时代	每个时代（数据的一个完整的通过一次），将数据进行洗牌（数据），设置`'洗牌'`选项`培训选项`来`'每个时代'`．请注意对于序列数据，改组可以有，因为它可以增加填充或截断的数据量的精确度产生负面影响。如果你有序列数据，然后通过排序序列长度可以帮助数据。想要了解更多，请看序列填充，截断和拆分．
尝试不同的优化	要指定不同的优化，使用`solvername.`论点`培训选项`．

有关更多信息，请参见设置参数和火车站卷积神经网络．

提高培训准确性

如果你在训练中发现的问题，然后再考虑这些可能的解决方案。万博尤文图斯

问题	可能的解决方案
诺斯或大型巨额损失	使用初始学习率降低`'InitialLearnRate'`的选择`培训选项`．如果降低学习率没有帮助，那么尝试使用梯度剪辑。要设置渐变阈值，使用`'GradientThreshold'`选项`培训选项`．
训练结束时损失仍在减少	通过增加epoch的数量来培训更长的时间`“MaxEpochs”`选项`培训选项`．
损失高原	如果在意外的高价值损失高原，再滴在高原的学习速度。要改变学习税率表，使用`'shownrateschedule'`选项`培训选项`．如果降低学习速率没有帮助，那么模型可能是不合适的。尝试增加参数或层的数量。您可以通过监视验证损失来检查模型是否拟合不足。
验证损失远高于培训损失	为防止过度拟合，请尝试以下一项或多项：使用数据增强。有关更多信息，请参见用增强图像列车网络．使用辍学层。有关更多信息，请参见`DropoutLayer.`．使用该增加全局L2正则化因子`“L2Regularization”`选项`培训选项`．
损耗降低非常缓慢	使用初始学习率提高`'InitialLearnRate'`的选择`培训选项`．对于图像数据，尝试包括网络中的批标准化层。有关更多信息，请参见`batchNormalizationLayer`．

有关更多信息，请参见设置参数和火车站卷积神经网络．

在培训修正错误

如果您的网络完全不训练，然后再考虑可能的解决方案。万博尤文图斯

错误描述可能的解决方案

出的内存错误时训练

可用硬件无法存储当前的迷你批处理、网络权重和计算的激活。

错误	描述	可能的解决方案
出的内存错误时训练	可用硬件无法存储当前的迷你批处理、网络权重和计算的激活。	尝试减少使用的小批量大小`'MiniBatchSize'`的选择`培训选项`．如果减少百分比尺寸不起作用，则尝试使用较小的网络，减少图层的数量，或减少图层中的参数或滤波器的数量。
自定义层的错误	有可能是与自定义层的实现问题。	检查自定义层的有效性，并发现潜在的问题使用`checkLayer`．如果在使用时测试失败`checkLayer`，该函数提供测试诊断和框架诊断。测试诊断突出显示任何层问题，而框架诊断提供了更详细的信息。要了解有关测试诊断的更多信息并获得可能的解决方案的建议，请参阅万博尤文图斯诊断．
训练抛出错误`'CUDA_ERROR_UNKNOWN'`	有时，当被用于从OS两个计算和显示要求它GPU抛出这个错误。	尝试减少使用的小批量大小`'MiniBatchSize'`的选择`培训选项`．如果降低小批量大小不工作，然后在Windows^®，尝试调整超时检测和恢复（TDR）设置。例如，改变`TdrDelay`2秒（默认值）为4秒（需要注册表编辑）。

尝试减少使用的小批量大小'MiniBatchSize'的选择培训选项．

如果减少百分比尺寸不起作用，则尝试使用较小的网络，减少图层的数量，或减少图层中的参数或滤波器的数量。

自定义层的错误

有可能是与自定义层的实现问题。

检查自定义层的有效性，并发现潜在的问题使用checkLayer．

如果在使用时测试失败checkLayer，该函数提供测试诊断和框架诊断。测试诊断突出显示任何层问题，而框架诊断提供了更详细的信息。要了解有关测试诊断的更多信息并获得可能的解决方案的建议，请参阅万博尤文图斯诊断．

训练抛出错误'CUDA_ERROR_UNKNOWN'

有时，当被用于从OS两个计算和显示要求它GPU抛出这个错误。

尝试减少使用的小批量大小'MiniBatchSize'的选择培训选项．

如果降低小批量大小不工作，然后在Windows^®，尝试调整超时检测和恢复（TDR）设置。例如，改变TdrDelay2秒（默认值）为4秒（需要注册表编辑）。

您可以使用深度学习网络分析analyzeNetwork．的analyzeNetwork功能显示网络架构的交互式可视化，检测错误和问题与网络，和提供有关网络层的详细信息。使用网络分析仪来观察和了解网络架构，检查是否已正确定义的架构，并在训练前发现问题。问题：analyzeNetwork检测包括缺失或断开的层、不匹配或不正确的层输入大小、不正确的层输入数量和无效的图结构。

准备和预处理数据

您可以通过预处理数据来提高准确性。

重量或平衡类

理想情况下，所有类都有相同数量的观察。然而，对于某些任务，类可能是不平衡的。例如，与行人和骑自行车的人相比，街道场景的汽车数据集往往有更多的天空、建筑和道路像素，因为天空、建筑和道路覆盖了更多的图像区域。如果处理不当，这种不平衡会对学习过程造成不利影响，因为学习偏向于主导阶级。

对于语义分割任务，可以在中指定类权重pixelClassificationLayer(计算机视觉工具箱)使用类别级别(计算机视觉工具箱)财产。对于图像分类的任务，您可以使用所提供的示例自定义分类层定义自定义加权分类层．

或者，您可以通过执行以下一项或多项来平衡类：

从最频繁的类添加新的意见。
从最常见的类别中删除观察。
小组类似课程。例如，将类别“汽车”和“卡车”分组到单级“车辆”中。

图像数据进行预处理

有关预处理图像数据的更多信息，请参阅深度学习的图像预处理．

任务更多的信息

调整图像

任务	更多的信息
调整图像	若要使用预先训练的网络，必须将图像的大小调整为网络的输入大小。要调整图像大小，请使用`augmentedImageDatastore`．例如，该语法调整图像数据存储中的图像大小`洛桑国际管理发展学院`： auimds = augmentedImageDatastore（inputSize，IMDS）; 提示用`augmentedImageDatastore`用于深度学习的图像预处理，包括图像大小调整。请勿使用`readfcn.`的选择`imageageAtastore.`用于预处理或调整，因为这选项通常是显著慢。
图像增强	为了避免过拟合，使用图像变换。想要了解更多，请看用增强图像列车网络．
标准化回归目标	在将预测器输入网络之前将其归一化。如果在训练前对响应进行归一化，则必须转换训练网络的预测，以获得原始响应的预测。有关更多信息，请参见火车回归卷积神经网络．

若要使用预先训练的网络，必须将图像的大小调整为网络的输入大小。要调整图像大小，请使用augmentedImageDatastore．例如，该语法调整图像数据存储中的图像大小洛桑国际管理发展学院：

auimds = augmentedImageDatastore（inputSize，IMDS）;

提示

用augmentedImageDatastore用于深度学习的图像预处理，包括图像大小调整。

请勿使用readfcn.的选择imageageAtastore.用于预处理或调整，因为这选项通常是显著慢。

图像增强

为了避免过拟合，使用图像变换。想要了解更多，请看用增强图像列车网络．

标准化回归目标

在将预测器输入网络之前将其归一化。如果在训练前对响应进行归一化，则必须转换训练网络的预测，以获得原始响应的预测。

有关更多信息，请参见火车回归卷积神经网络．

预处理序列数据

有关使用LSTM网络的更多信息，请参阅长短期记忆网络．

任务更多的信息

标准化序列数据

任务	更多的信息
标准化序列数据	为了标准化的序列数据，首先计算每个特征平均值和标准偏差对于所有的序列。然后，对每个训练观察，通过减去标准差的均值和鸿沟。想要了解更多，请看标准化序列数据．
减少序列填充和截断	为了减少填充或截断序列时填充或丢弃数据的量，请尝试按顺序对数据进行排序。想要了解更多，请看序列填充，截断和拆分．
指定预测小批量大小和填充选项	当用不同长度的序列进行预测时，迷你批量大小可以影响添加到的输入数据的填充量，这导致不同的预测值。尝试使用不同的值，以查看最适合您的网络。要指定迷你批量大小和填充选项，请使用`'MiniBatchSize'`和`'SequenceLength'`选项的`分类`，`预测`，`classifyAndUpdateState`，和`predictAndUpdateState`职能。

为了标准化的序列数据，首先计算每个特征平均值和标准偏差对于所有的序列。然后，对每个训练观察，通过减去标准差的均值和鸿沟。

想要了解更多，请看标准化序列数据．

减少序列填充和截断

为了减少填充或截断序列时填充或丢弃数据的量，请尝试按顺序对数据进行排序。

想要了解更多，请看序列填充，截断和拆分．

指定预测小批量大小和填充选项

当用不同长度的序列进行预测时，迷你批量大小可以影响添加到的输入数据的填充量，这导致不同的预测值。尝试使用不同的值，以查看最适合您的网络。

要指定迷你批量大小和填充选项，请使用'MiniBatchSize'和'SequenceLength'选项的分类，预测，classifyAndUpdateState，和predictAndUpdateState职能。

利用现有的硬件

要指定执行环境，使用“执行环境”选项培训选项．

问题	更多的信息
对CPU的培训很慢	如果培训是太慢了一个单CPU上，尝试使用预训练的深度学习网络为特征提取和训练机器学习模型。例如，请参见利用预训练网络提取图像特征．
在GPU训练LSTM缓慢	CPU更适合使用具有短序列的迷你批次训练LSTM网络。要使用CPU，请设置`“执行环境”`选项`培训选项`来`“cpu”`．
软件不使用所有可用的GPU	如果你有机会获得多GPU的机器，只需将`“执行环境”`选项`培训选项`来`“多GPU”`．有关更多信息，请参见在多个GPU上深入学习．

有关更多信息，请参见并行和在云中扩展深度学习．

修复从mat文件加载的错误

如果您无法从MAT-file加载层或网络并得到表单的警告

警告：无法类layerType的实例加载到异质阵列。layerType的定义可能是丢失或包含错误。缺省对象将被取代。警告：在层nnet.cnn.layer.MissingLayer使用“前进”错误：在加载的类的SeriesNetwork'的对象。该函数抛出一个错误，无法执行。

然后，Mat文件中的网络可能包含不可用的图层。这可能是由于以下内容：

该文件包含不在路径上的自定义图层 - 要加载包含自定义图层的网络，将自定义图层文件添加到MATLAB中^®小路。
该文件包含来自支持包的自定义层-要使用来自支持包的层加载网络，请使用相应的函数在万博1manbetx命令行安装所需的支持包(例如，resnet18）或使用该插件浏览器。
该文件包含一个来自文档示例的自定义层，但不在路径上。要加载包含文档示例自定义层的网络，将示例作为Live Script打开，并将该层从示例文件夹复制到工作目录。
该文件包含从未安装的工具箱中的图层 - 从其他工具箱访问图层，例如计算机视觉工具箱或文本分析工具箱，安装相应的工具箱。

尝试建议的解决方案后，重新加载MAT文件。万博尤文图斯