处理大型数据集
连接到数据库以最大的性能
当你使用MATLAB®与含有大量数据的数据库,您可以体验或缓慢处理内存不足的问题。达到最快的性能,使用本机ODBC接口连接到您的数据库。如果本机ODBC接口不工作,使用JDBC驱动程序连接到数据库。有关详细信息,请参见连接到数据库。
大型数据集导入MATLAB
如果你选择大量的数据在数据库中导入MATLAB,你可以体验或缓慢处理内存不足的问题。为了达到最快的性能,您可以在批量导入数据。
使用本机ODBC连接时,可用内存的数量MATLAB可以限制你处理你的整个数据集。MATLAB来管理内存,处理你的数据部分。使用获取
函数限制查询返回的行数用“MaxRows”
输入参数。使用MATLAB脚本,您可以导入数据增量,直到所有检索数据。例如,看到的获取
。
如果你没有访问数据库和想进口大型数据集,您可以使用SQLite MATLAB接口。有关详细信息,请参见使用MATLAB与SQLite数据库的数据交互接口SQLite。
出口的大型数据集MATLAB
当大量数据插入数据库,你可以体验慢处理。为了达到最快的性能,使用sqlwrite
从MATLAB函数导出数据。
如果你没有访问数据库和想出口大型数据集,您可以使用插入
SQLite与MATLAB函数接口。有关详细信息,请参见使用MATLAB与SQLite数据库的数据交互接口SQLite。
使用DatabaseDatastore大数据的访问
另一种为大型数据集存储在数据库中导入MATLAB使用DatabaseDatastore
。一个DatabaseDatastore
是一个包含一组数据存储的数据存储在数据库中。
你可以分析数据DatabaseDatastore
等常见的MATLAB函数,使用高数组的意思是
和柱状图
。有关详细信息,请参见分析大数据在数据库使用高数组。或者更多的控制,还可以编写您自己的使用MapReduce算法。有关详细信息,请参见分析大数据在数据库使用MapReduce。