自定义培训循环、损函数和网络
最深学习任务使用预培训神经网络并适应自有数据示例显示如何使用传教再培训卷积神经网络对新图集分类,见深学习网列新图像分类.或用神经网络从零开始创建和训练火车网,trainNetwork网络并培训选项函数 。
if培训选项函数不提供任务需要的培训选项,然后使用自动偏差创建自定义培训环路学习更多见定义深学习网络自定义训练圈.
深学习工具箱TM不提供任务所需的层数(包括输出层数说明缺失函数),可创建自定义层数学习更多见自定义深学习层.无法使用输出层指定损失函数时,您可以在自定义培训循环中指定损失学习更多见指定损失函数.无法用图层创建网络时,可定义自定义网络函数学习更多见定义网络为模型函数.
更多资料说明哪个培训方法用于哪个任务,见train深学习模型MATLAB.
定义深学习网络自定义训练圈
网络定义为dl网络对象类
多数任务可用培训算法细节控制培训选项,火车网并trainNetwork网络函数 。if培训选项函数不提供任务所需的选项(例如自定义学习速率调度),然后用自定义训练环路定义dl网络对象.A级dl网络对象允许使用自动偏差训练网络图层
网络指向层图时,可创建dl网络图层对象使用dl网络函数直达
Net=dlnetwork
示例显示网络自定义学习进度表train网络使用自定义训练圈.
定义网络为模型函数
无法用图层创建架构(例如双神经网络需要共享权值),您可以定义模型为表单函数=模型(参数X1.XN)中位参数类内含网络参数X1XN匹配输入数据N级模型输入Y1YM匹配M级模型输出训练深学习模型函数使用自定义训练环路举个例子,见train网络使用模型函数.
定义深学习模型函数时,必须手动初始化层权重更多信息见初始化模型函数可学习参数.
万博1manbetx定义自定义网络函数时,模型函数必须支持自动划分可使用深学习操作函数列表仅子集万博1manbetx全表函数支持德拉雷输入,见万博1manbetx函数列表带阵列支持.
| 函数转换 | 描述性 |
|---|---|
注意力集中 |
注意力操作聚焦输入段使用加权乘法运算 |
ivgpo |
平均集合运算通过分入集合区计算每个区域平均值实现下标 |
批量规范 |
批量规范操作独立实现输入数据对每个通道所有观察的归并加速神经卷积网络培训并降低对网络初始化的敏感度,使用卷积和非线性操作类批量规范化礼路市. |
交叉寄存性 |
跨寄存操作计算网络预测与单标签和多标签分类任务目标值之间的交叉寄存损 |
crosschannelnorm |
跨通道规范操作使用不同渠道的局部响应实现每次激活的规范化跨通道正常化通常礼路市操作.跨渠道规范化也称为局部响应规范化 |
Ctc |
OCS计算连接器时间分类损失 |
dlconv |
卷积操作对输入数据应用滑动滤波使用dlconv深学习卷积、分组卷积和通道分解卷积函数 |
dlode45 |
神经普通微分方程运算返回指定的ODE解析 |
dltranspconv |
变换卷积操作特征地图 |
嵌入式 |
嵌入运算将数字索引转换为数字矢量,索引对应离散数据嵌入式绘制离散数据,如绝对值或数向量词 |
完全连通 |
完全连接运算乘权值矩阵并加偏向矢量 |
盖卢 |
高斯线性误差单元激活运算权推高斯分布下输入概率 |
群交 |
分组规范运算对逐个观察通道子集输入数据规范化加速神经卷积网络培训并降低对网络初始化的敏感度,使用卷积和非线性操作之间的群集规范化礼路市. |
格鲁 |
关口复用单元操作允许网络学习时间序列和序列数据间依存性 |
中心点 |
Huber运算计算网络预测与回归任务目标值之间的Huber损耗何时'TransitionPoint'选项一,它也被称为平滑性L级一号损耗. |
实例规范 |
实例规范操作使每个通道独立观察输入数据正常化提高卷积神经网络培训并降低对网络超参数敏感度,使用卷积和非线性操作例规范化礼路市. |
l1损失 |
L级一号损耗运算L一号报损网络预测和目标值何时减量选项为结巴并NormalizationFactor选项为批量大小计算值称平均绝对误差 |
2损失 |
L级2损耗运算L2损耗(基於平方L2)给定网络预测和目标值何时减量选项为结巴并NormalizationFactor选项为批量大小计算值称平均平方误差 |
层北 |
层规范运算所有通道输入数据规范化加速复元多层感知神经网络培训并降低对网络初始化的敏感度,使用可学习操作后层规范化,如LSTM并完全连接运算 |
泄漏yrelu |
泄漏校正线性单元激活操作执行非线性阈值操作,输入值小于0乘固定比例因子 |
伊斯特姆 |
长短期存储器操作允许网络学习时间序列与序列数据间时间步相依性 |
最大pool |
最大聚积运算通过分入聚积区计算每个区域最大值实现下调 |
最大unpool |
最大uncount运算解集合输出 |
兆秒 |
半平方差错计算网络预测与回归任务目标值间半平方差错损失 |
ihotdecode |
The one-hot decode operation decodes probability vectors, such as the output of a classification network, into classification labels. 输入 |
礼路市 |
纠正线性单元激活操作执行非线性阈值操作,输入值小于0设为0 |
sigmoid系统 |
sigmoid激活操作应用sigmoid函数输入数据 |
软max |
软max激活操作将软max函数应用到输入数据通道维 |
指定损失函数
使用自定义训练循环时,必须计算模型渐变函数中的损耗计算渐变更新网络权值时使用损值计算损耗时可使用下列函数
| 函数转换 | 描述性 |
|---|---|
软max |
软max激活操作将软max函数应用到输入数据通道维 |
sigmoid系统 |
sigmoid激活操作应用sigmoid函数输入数据 |
交叉寄存性 |
跨寄存操作计算网络预测与单标签和多标签分类任务目标值之间的交叉寄存损 |
l1损失 |
L级一号损耗运算L一号报损网络预测和目标值何时减量选项为结巴并NormalizationFactor选项为批量大小计算值称平均绝对误差 |
2损失 |
L级2损耗运算L2损耗(基於平方L2)给定网络预测和目标值何时减量选项为结巴并NormalizationFactor选项为批量大小计算值称平均平方误差 |
中心点 |
Huber运算计算网络预测与回归任务目标值之间的Huber损耗何时'TransitionPoint'选项一,它也被称为平滑性L级一号损耗. |
兆秒 |
半平方差错计算网络预测与回归任务目标值间半平方差错损失 |
Ctc |
OCS计算连接器时间分类损失 |
换句话说,您可以通过创建表单函数使用自定义损耗函数损耗= myLosss中位Y级并T级响应网络预测和目标损耗返回损耗
实例显示如何训练使用自定义损耗函数生成图像的基因对称网络,见培训生成反向网络.
使用自动差分更新可学习参数
训练深学习模型自定义训练循环时,软件可最大限度地减少可学习参数方面的损耗软件使用可学习参数渐变损失使用自动偏差计算梯度时,必须定义模型梯度函数
定义模型损耗函数
模型定义dl网络对象创建函数表单=模型Loss(net,X,T)中位净值网络化X级网络输入T级内含目标,损耗并渐变返回损益梯度可选择性地向渐变函数传递额外参数(例如,缺失函数需要额外信息)或返回额外参数(例如,更新网络状态)。
模型指定函数创建表单函数=模型Loss(参数XT)中位参数类内含可学习参数X级模式输入T级内含目标,损耗并渐变返回损益梯度可选择性地向渐变函数传递额外参数(例如,缺失函数需要额外信息)或返回额外参数(例如,更新模型状态)。
深入了解定义模型损耗函数自定义训练环路见定义自定义训练圈模型损耗函数.
更新可学习参数
模型损耗函数使用自动辨别使用尔夫瓦函数评价函数自动分化首输入尔夫瓦传递模型丢失函数指定为函数柄向下输入传递模型损耗函数所需的变量面向输出尔夫瓦函数指定与模型损耗函数相同的输出
使用渐变更新可学习参数时,可使用下列函数:
