主要内容

大文件和大数据

访问和处理文件集合和大型数据集

大数据集可以是无法装入可用内存的大文件的形式,也可以是需要很长时间才能处理的文件。大数据集也可以是众多小文件的集合。没有单一的方法来处理大型数据集,所以MATLAB®包括许多用于访问和处理大型数据的工具。

首先创建一个每次可以访问一小部分数据的数据存储。可以使用该数据存储管理数据的增量导入。利用MATLAB等常用函数对数据进行分析的意思是柱状图,在数据存储上创建一个长数组。对于更复杂的问题,可以编写一个MapReduce算法来定义数据的分块和缩减。