主要内容

TallDatastore

数据存储的检查点数组

描述

TallDatastore对象用于重新创建方法写入磁盘的二进制文件中的数组函数。您可以使用该对象重新创建原始对象数组,也可以通过指定来访问和管理数据TallDataStore属性和使用对象函数。

创建

创建TallDatastore对象的使用数据存储函数。例如,tds =数据存储(位置、“类型”、“高”)由指定的文件集合创建数据存储位置

属性

全部展开

数据存储中包含的文件,解析为字符向量、字符向量的单元数组、字符串标量或字符串数组,其中每个字符向量或字符串都是文件的完整路径。

位置论点的数据存储函数定义文件属性。的位置参数包含本地文件系统、网络文件系统或受支持的远程位置(如Amazon S3™、Windows Azure)上的文件的完整路径万博1manbetx®Blob Storage和HDFS™。有关更多信息,请参见使用远程数据

文件必须是mat -file或Sequence文件函数。

例子:[" C: \ dir \ data \ file1.ext”;“C: \ dir \ data \ file2.ext”)

例子:[" s3: / / bucketname / path_to_files / your_file01.ext”;“s3: / / bucketname / path_to_files / your_file02.ext”)

数据类型:字符|细胞|字符串

文件类型,指定为其中之一“垫”mat文件或“>”序列文件。默认情况下,所提供位置中的文件类型决定文件类型

数据类型:字符|字符串

对象的调用中读取的最大数据行数预览函数,指定为正整数。当数据存储函数创建一个TallDatastore,它确定并分配最佳可能值ReadSize

可选的文件系统根路径,指定为名称-值参数组成的“AlternateFileSystemRoots”字符串向量或单元格数组。使用“AlternateFileSystemRoots”当您在本地机器上创建数据存储,但需要访问和处理另一台机器(可能是不同的操作系统)上的数据时。此外,当使用Parallel Computing Toolbox™和MATLAB®并行服务器™,并且数据存储在本地机器上,在不同的平台云或集群机器上可以使用数据的副本“AlternateFileSystemRoots”关联根路径。

  • 若要将一组相互等效的根路径关联起来,请指定“AlternateFileSystemRoots”作为一个字符串向量。例如,

    [" Z: \数据集”、“/ mynetwork /数据集”)

  • 若要关联与该数据存储相同的多组根路径,请指定“AlternateFileSystemRoots”作为包含多行的单元格数组,其中每一行表示一组等价的根路径。将单元格数组中的每一行指定为字符串向量或字符向量的单元格数组。例如:

    • 指定“AlternateFileSystemRoots”作为字符串向量的单元格数组。

      {[Z: \“数据集”、“/ mynetwork /数据集”);…[" Y: \数据集”、“/ mynetwork2 /数据集”、“年代:\数据集”)}

    • 另外,指定“AlternateFileSystemRoots”作为字符向量的单元数组的单元数组。

      {{“Z: \数据集”、“mynetwork /数据集”},…{“Y: \数据集”,“mynetwork2 /数据集”,年代:\数据集的}}

的价值“AlternateFileSystemRoots”必须满足以下条件:

  • 包含一个或多个行,其中每一行指定一组等价的根路径。

  • 每行指定多个根路径,且每个根路径至少包含两个字符。

  • 根路径是唯一的,并且不是彼此的子文件夹。

  • 包含至少一个指向文件位置的根路径条目。

有关更多信息,请参见设置数据存储,以便在不同的机器或集群上进行处理

例子:[" Z: \数据集”、“/ mynetwork /数据集”)

数据类型:字符串|细胞

对象的功能

hasdata 确定是否可以读取数据
numpartitions 数据存储分区数
分区 分区数据存储
预览 预览数据存储中的数据子集
读取数据存储中的数据
readall 读取数据存储中的所有数据
重置 将数据存储重置为初始状态
变换 变换数据存储
结合 合并来自多个数据存储的数据
isPartitionable 确定数据存储是否可分区
isShuffleable 确定数据存储是否可洗牌

例子

全部折叠

使用TallDatastore对象直接从磁盘上的文件重构高数组,而不是重新执行生成高数组的所有命令。创建一个高数组并保存到磁盘使用函数。检索数组的使用数据存储然后把它转换回

做一个简单的高挑双打造型。

t =高(rand (500,1))
T = 500×1 tall双列向量0.8147 0.9058 0.1270 0.9134 0.6324 0.0975 0.2785 0.5469::

将结果保存到一个名为Example_Folder

位置= fullfile (matlabroot,“工具箱”“matlab”“演示”“Folder1”);写(位置、t);
写入高层数据到文件夹H:\21\ nhossin . bdoc21b。4月13\matlab\toolbox\matlab\demos\Folder1使用本地matlab会话评估高表达式:-通过1的1:完成在0.063秒评估完成在0.16秒

恢复数组写入磁盘后,首先创建引用相同目录的新数据存储。然后将数据存储转换为数组中。

tds =数据存储(位置);t1 =高(tds)
t1 = M×1 tall双列向量0.8147 0.9058 0.1270 0.9134 0.6324 0.0975 0.2785 0.5469
介绍了R2016b