回归层计算回归任务的半均方误差损失。对于典型的回归问题,回归层必须在最终完全连通层之后。
对于单个观测,均方误差为:
在哪里R为响应次数,t我是目标输出,并y我是网络对反应的预测吗我.
对于图像和序列一回归网络,回归层的损失函数是预测响应的半均方误差,而不是归一化R:
对于图像到图像的回归网络,回归层的损失函数是每个像素的预测响应的半均方误差,而不是归一化R:
在哪里H,W, 和C分别表示输出通道的高度、宽度和数量,和p的每个元素(像素)的索引t和y线性。
对于序列-序列回归网络,回归层的损失函数是每个时间步的预测响应的半均方误差,而不是归一化R:
在哪里年代是序列长度。
当培训,软件计算了在小批量的观察的平均损失。