主要内容

深度学习定制训练循环

自定义深度学习培训循环和损失功能

如果是培训选项函数不提供任务所需的训练选项,或自定义输出层不支持所需的损失函数,则可以定义自定义训练循环。万博1manbetx对于无法使用层图创建的网络,可以将自定义网络定义为函数。想要了解更多,请看定义自定义培训循环,丢失功能和网络

功能

展开全部

dlnetwork. 深度学习网络自定义训练循环
向前 计算深度学习网络输出进行培训
预测 计算推理的深度学习网络输出
adamupdate. 使用Adaptive Sonment估算更新参数(ADAM)
rmspropupdate 使用均方根传播(RMSProp)更新参数
sgdmupdate 使用随机梯度下降使用动量(SGDM)更新参数
dlupdate 使用自定义函数更新参数
小公子 为深度学习创建迷你批次
onehotencode 将数据标签编码为热点向量
onehotdecode 解码概率向量到类标签
拼图序列 填充或截断序列数据到相同的长度
初始化 初始化可知和状态参数dlnetwork.
dlarray. 定制培训循环的深度学习阵列
Dlgradient. 使用自动微分为自定义训练循环计算梯度
dlfeval 评估自定义训练循环的深度学习模型
昏暗 维度标签dlarray.
Finddim. 查找带有指定标签的尺寸
剥离丁片 消除dlarray.标签
提取数据 从中提取数据dlarray.
Isdlarray. 确定输入是否是dlarray.
functiontolayergraph. 将深度学习模型函数转换为图层图
DLCONV. 深度学习卷积
dltranspconv. 深入学习转置卷积
lstm 长期短期记忆
gru. 封闭的复发性单元
嵌入 嵌入离散数据
fullyconnect 总和所有加权输入数据并应用偏差
应用整流的线性单元激活
leakyrelu 应用泄漏整流线性单元激活
batchnorm 独立地对每个渠道的所有观察结果正常化
crosschannelnorm 交叉通道方形 - 使用当地响应进行正常化
Groupnorm. 对每个独立观察的信道分组子集进行标准化
instanceNorm. 对每个独立观测的每个通道进行标准化
layernorm 对每个独立观察的所有通道进行标准化
avgpool. 将数据集合到空间维度上的平均值
maxpool. 池数据到最大值
maxunpool. 取消最大池操作的输出
softmax 将SoftMax激活应用于通道维度
sigmoid. 应用乙状结肠激活
基于分子 交叉熵损失的分类任务
hu 回归任务的Huber损失
MSE 半均匀的误差
ctc 非对齐序列分类中的连接时态分类损失
dlaccelerate 加速定制培训循环的深度学习功能
加速功能 加速深度学习功能
清除缓存 清除加速深度学习功能跟踪缓存

话题

定制培训循环

用MATLAB训练深度学习模型

了解如何在Matlab中培训深入学习模型®

定义自定义培训循环,丢失功能和网络

学习如何使用自动区分定义和定制深度学习训练循环、损失函数和网络。

使用自定义培训循环列车网络

此示例显示如何训练将手写数字与自定义学习率计划分类的网络。

在自定义训练循环中指定训练选项

了解如何在自定义训练循环中指定常见训练选项。

为自定义训练循环定义模型梯度函数

了解如何为自定义训练循环定义模型渐变函数。

在自定义训练循环中更新批处理归一化统计

此示例显示如何在自定义训练循环中更新网络状态。

使用DLNetwork对象进行预测

这个例子展示了如何使用dlnetwork.对象,将数据分割为小批。

在图像和特征数据上培训网络

这个例子展示了如何训练一个网络,使用图像和特征输入数据来分类手写数字。

多输出列车网络

此示例显示如何使用多个输出训练深度学习网络,该输出预测手写数字的标签和旋转角度。

分类视频使用深度学习与自定义训练循环

这个例子展示了如何结合预先训练的图像分类模型和序列分类网络来创建一个视频分类网络。

火车图像分类网络鲁棒到对抗的例子

该示例显示了如何使用快速梯度符号法(FGSM)对抗训练来训练对对抗性示例具有鲁棒的神经网络。

用雅可比正则化训练鲁棒深度学习网络

此示例显示了如何使用雅孚正则化方案[1]训练对对抗的对抗示例具有鲁棒的神经网络[1]。

模型函数

使用模型功能列车网络

这个例子展示了如何使用函数而不是层图或层次图来创建和训练一个深度学习网络dlnetwork.

使用模型函数更新批处理归一化统计

此示例显示如何在定义为函数的网络中更新网络状态。

使用模型功能进行预测

这个例子展示了如何使用模型函数进行预测,方法是将数据分割成小批。

初始化模型函数的可学习参数

了解如何使用模型函数初始化自定义培训循环的可读参数。

自动分化

Dlarray支持的函数列表万博1manbetx

查看支持的功能列表万博1manbetxdlarray.对象。

自动差异化背景

了解自动差异化是如何运作的。

在深度学习工具箱中使用自动差异化

如何在深度学习中使用自动区分。

深度学习功能加速

定制培训循环的深度学习功能加速

通过缓存和重用迹线加速模型函数和模型梯度函数进行自定义训练循环。

加速自定义训练循环功能

这个例子展示了如何加速深度学习自定义训练循环和预测函数。

检查加速深度学习功能输出

此示例显示如何检查加速函数的输出是否匹配底层函数的输出。

评估加速深度学习功能的表现

此示例显示如何评估使用加速功能的性能增益。

特色的例子