主要内容

处理大型数据集

连接到数据库以最大的性能

当你使用MATLAB®与含有大量数据的数据库,您可以体验或缓慢处理内存不足的问题。达到最快的性能,使用本机ODBC接口连接到您的数据库。如果本机ODBC接口不工作,使用JDBC驱动程序连接到数据库。有关详细信息,请参见连接到数据库

大型数据集导入MATLAB

如果你选择大量的数据在数据库中导入MATLAB,你可以体验或缓慢处理内存不足的问题。为了达到最快的性能,您可以在批量导入数据。

使用本机ODBC连接时,可用内存的数量MATLAB可以限制你处理你的整个数据集。MATLAB来管理内存,处理你的数据部分。使用获取函数限制查询返回的行数用“MaxRows”输入参数。使用MATLAB脚本,您可以导入数据增量,直到所有检索数据。例如,看到的获取

如果你没有访问数据库和想进口大型数据集,您可以使用SQLite MATLAB接口。有关详细信息,请参见使用MATLAB与SQLite数据库的数据交互接口SQLite

出口的大型数据集MATLAB

当大量数据插入数据库,你可以体验慢处理。为了达到最快的性能,使用sqlwrite从MATLAB函数导出数据。

如果你没有访问数据库和想出口大型数据集,您可以使用插入SQLite与MATLAB函数接口。有关详细信息,请参见使用MATLAB与SQLite数据库的数据交互接口SQLite

使用DatabaseDatastore大数据的访问

另一种为大型数据集存储在数据库中导入MATLAB使用DatabaseDatastore。一个DatabaseDatastore是一个包含一组数据存储的数据存储在数据库中。

你可以分析数据DatabaseDatastore等常见的MATLAB函数,使用高数组的意思是柱状图。有关详细信息,请参见分析大数据在数据库使用高数组。或者更多的控制,还可以编写您自己的使用MapReduce算法。有关详细信息,请参见分析大数据在数据库使用MapReduce

相关的话题