如何在Matlab中实现深度学习PyTorch分离或TensorFlow stop_gradient吗?

3视图(30天)

显示旧的评论

约翰。史密斯 2021年8月19日

回答: Damien T 2022年11月7日

答:接受 Damien T

你好!

Pytorch设施分离一个张量,以便它不会需要一个梯度,即(从在这里 ):

为了启用自动分化,PyTorch跟踪所有操作涉及的张量梯度可能需要计算(即。require_grad是真的)。操作记录为一个有向图。分离()方法构造一个新的视图在一个声明不需要梯度张量,即,是被排除在进一步跟踪操作,因此涉及这个视图的子图没有记录。

TensorFlow有一个类似的设施 stop_gradient 。

这些都是有用的,当一个人需要的副本表达式被视为常数,其梯度不应计算在学习。

如何在Matlab中实现这种事的深度学习工具箱吗?(可能是在一个自定义训练循环)

谢谢,

Artem Lenskiy 2022年7月14日

有更新在Matlab中实现分离吗?

Damien T 2022年11月7日

你只需要调用以下。它将追踪dlarray变成标准的Matlab变量,因此autodiff引擎将把新(“分离”)变量作为一个常数。

myDetachedVar = extractdata (myvar#);

人工智能,数据科学和统计数据深度学习工具箱图像数据的工作流

找到更多的在图像数据的工作流在帮助中心和文件交换

R2021a

找到宝藏在MATLAB中央,发现社区如何帮助你!

开始狩猎!

翻译的