用于信号收集的数据存储
使用一个signalDatastore
对象来管理内存中数据或信号文件的集合,其中每个单独的文件都适合内存,但整个集合不一定适合。
读 |
读取下一个连续信号观察 |
readall |
从数据存储读取所有信号 |
writeall |
将数据存储写入文件 |
预览 |
从数据存储读取第一个信号观测预览 |
洗牌 |
在信号数据存储中洗牌信号 |
子集 |
用信号的子集创建数据存储 |
分区 |
分区信号数据存储并返回分区部分 |
numpartitions |
返回用于并行处理的合理分区数量的估计值 |
重置 |
将数据存储重置为初始状态 |
进步 |
确定已经读取了多少数据 |
hasdata |
确定是否有数据可读 |
变换 |
变换数据存储 |
结合 |
合并来自多个数据存储的数据 |
isPartitionable |
确定数据存储是否可分区 |
isShuffleable |
确定数据存储是否可洗牌 |
请注意
isPartitionable
而且isShuffleable
返回真正的
默认为signalDatastore
.可以测试是否输出结合
而且变换
使用这两个函数是可分区或可洗牌的。