同样堆积超过200 k的文件(#列)

3视图(30天)
戴夫
戴夫 2021年10月13日
评论道: 戴夫2021年10月13日
你好,我有超过200000 csv文件我想把/栈/添加/连接。
所有csv文件在同一个文件夹中。
所有csv文件有相同数量的列(80)
但他们可能有不同的行数(从5到5000)
我目前使用一个循环和readtable为每个文件
着干活= readtable (csvfilename{2},选择);
out2 = (out2;着干活);
但它已经永远,可能out2可能太大了。这是正确的方法来处理200 k文件?高表吗?
csv 80列,我只需要30列相同,这个如果我可以直接读取这些30避免最终的文件太大了。

答案(1)

克里斯·拉皮埃尔
克里斯·拉皮埃尔 2021年10月13日
编辑:克里斯·拉皮埃尔 2021年10月13日
考虑使用数据存储。你可以看到在我们的一个例子 视频导入多个数据文件 从我们的 实际数据科学与MATLAB Coursera专业化
我不确定“将永远”意味着什么,但这是需要一段时间来加载200 k的文件。因为数组大小不是预先分配,你会遇到内存问题随着数组的增长,随着MATLAB继续前进到越来越大的连续块membory(见 在这里 )如果尺寸太大,您可能需要考虑使用 高大的数组 为了与最终结果。在这种情况下,您可能想要考虑 TallDatastore
4评论
戴夫
戴夫 2021年10月13日
nvm,有一个错误在一个变量的名字。

登录置评。

类别

找到更多的在大文件和大数据帮助中心文件交换

社区寻宝

找到宝藏在MATLAB中央,发现社区如何帮助你!

开始狩猎!