处理大量的训练数据集保存在许多.mat文件

6视图(30天)

显示旧的评论

Ruohao张 2020年8月10日

0
链接

这个问题直接联系

//www.tianjin-qmedu.com/matlabcentral/answers/577669-dealing-with-large-training-datasets-saved-in-a-number-of-mat-files

评论道: Ruohao张2020年8月21日

答:接受迪夫Gaddipati

你好所有的,

我遇到一个问题,我需要训练LSTM信号分类器与大量的数据。

每一维信号是大约100 k样本,每48信号是保存在一个.mat文件。.mat文件的总数约为2000。

标签也同样保存在相应的.mat文件在一个不同的文件夹。

我想知道如果有一种方法来训练网络的必要性没有整个加载到内存中。(64 gb ram我只能一次加载~ 1300文件)

你的帮助将会非常感激。

0评论
显示1年长的评论藏1年长的评论

登录置评。

在回答这个问题。

接受的答案

迪夫Gaddipati 2020年8月13日

0
链接

直接链接到这个答案

//www.tianjin-qmedu.com/matlabcentral/answers/577669-dealing-with-large-training-datasets-saved-in-a-number-of-mat-files answer_479088

您可以使用 fileDatastore 为这个目的。

                             trainData = fileDatastore (“/道路/ /数据”,“ReadFcn”@load,“FileExtensions”,“.mat”);
                            

您可以使用“负载”或您自己的自定义函数定义如何加载数据。

你也可以参考链接更多信息在培训LSTM加载数据时使用 fileDatastore。

1评论
显示没有隐藏没有

Ruohao张 2020年8月18日

谢谢你这个答案,我做什么是我现在所有的文件分解成较小的文件每只包含一个矩阵和创建一个数据存储。我遇到的问题是加载函数作用在filedatastore奇怪当你调用它。当我在命令加载.mat它返回一个矩阵,在通过调用加载时filedatastore结合,它加载1 x1细胞。所以我必须编写自己的加载函数,以确保正确的格式

登录置评。