开发区

用MATLAB开发高级软件

在湖中快速浸泡

暑假即将结束,学校又开始上课了,我希望你们,读者,喜欢这里的好天气和户外活动。

泰纳亚湖

云彩检查!湖泊检查!猜猜我在哪里拍的这张照片?

我在美国中西部生活了十多年,这里是地球上近五分之一淡水的家园。在美丽的密歇根州,人们很容易认为湖泊是理所当然的。这似乎是一辈子以前的事了,尤其是与美丽的湾区相比。今年3月,加利福尼亚州宣布7年多的旱灾结束。从紧缩措施中幸存下来,经历了一个干燥的未来,让我对我们美丽的星球及其有限的资源有了新的尊重。

这里的湖也是一个非常美丽的地方蔚蓝色的™ 数据湖™ 存储使开发人员、数据科学家、分析师能够存储和分析任何形状、大小、速度等的数据。此类托管服务允许工程师和领域专家专注于数学、算法和处理,同时将基础设施的实际维护和操作委托给专家。

MATLAB开发人员可以利用桌面MATLAB环境中的云服务(在最终用户模式)以及从我们的汇编,生产平行计算机产品(中)s manbetx 845服务对服务任何一种模式都需要以JSON文件的形式提供配置。

从我们的视角来看,这些能力更为重要参考体系结构为了蔚蓝的云。Azure Data Lake存储的MATLAB接口可在github.com上获得.

本文的其余部分将假定您已配置Azure Data Lake存储服务如何设置服务可以在我们的文档中找到.

该接口由包装底层SDK的MATLAB类组成。这为我们的开发人员提供了最大的灵活性,因为底层工件可以重建指向底层SDK的更新版本。此外,构建在MATLAB单元测试框架上的单元测试确保了该功能可以与较新的SDK版本一起工作

例如,对于交互式(最终用户)使用,创建一个名为azuredatalakestore.json:

{“AccountFQDN”=“mydatalakename.azuredatalakestore.net”,“NativeAppId”=“1d184e4a-62c0-4244-8b68-4cffe757131c”}

运行startup.m文件将使工具可用于MATLAB。

>>Azure Data Lake存储路径的启动添加接口添加/home/username/mydir/Azure Data Lake存储/Software/MATLAB/app添加/home/username/mydir/Azure Data Lake存储/Software/MATLAB/app/functions添加/home/username/mydir/Azure Data Lake存储/Software/MATLAB/app/system添加/home/username/mydir/Azure Data Lake存储/Software/MATLAB/lib Adding/home/username/mydir/Azure Data Lake Storage/Software/MATLAB/config运行安装后操作添加:/home/username/mydir/Azure Data Lake Storage/Software/MATLAB/lib/jar/target/Azure-dl-sdk-0.1.0.jar

安装程序

配置后,用户可以通过MATLAB客户端连接到数据湖。

dlClient=azure.datalake.store.ADLStoreClient;dlClient.initialize();

清单存储文件

Data Lake使用Unix风格的正斜杠路径分隔符,即“/”,名称区分大小写。不使用驱动器号,根目录由前导正斜杠表示。

dirTable=dlClient.enumerate目录('/')

默认情况下,清单中的所有元数据都以36个字符字符串的形式返回。这些可以方便地用于编程,但可读性不强。使用一个简单的配置,就可以指示工具返回人类可读的内容。

rep=azure.datalake.store.UserGroupRepresentation.UPN;dirTable=dlClient.enumerateDirectory('/',“UserGroupRepresentation”,代表)

清单的结果显示为易于处理的MATLAB表格。

1.1.4 4.4 4.4 4.4 4.8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 UUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUU uuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuu'MyTestDirectory'/MyTestDirectory'[0]'myemail@mycompany.com“MATLAB'[10-Jan-2018 16:17:46][10-Jan-2018 16:17:46][DIRECTORY][0][0]“770'[0][NaT]'README.md'/README.md'[1707]'myemail@mycompany.com' 'myemail@mycompany.com[21-Dec-2017 14:50:14][21-Dec-2017 14:50:14][FILE][268435456][1]“770”[0][NaT]“RELEASENOTES.md”“/RELEASENOTES.md”“[651]”myemail@mycompany.com' 'myemail@mycompany.com“[21-Dec-2017 14:50:08][21-Dec-2017 14:50:08][FILE][268435456][1]“770”[0][NaT]“Readme.txt”“/Readme.txt”[2962]”myemail@mycompany.com' 'myemail@mycompany.com[08-Dec-2017 18:16:02][08-Dec-2017 18:16:02][FILE][268435456][1]“770”[1][NaT]

创建、检索、更新、删除(CRUD)

通过客户端在服务上创建目录/文件夹。

dlClient.createDirectory(“我的名字”)

还可以使用Unix风格的八进制权限创建具有特定访问权限的目录:

dlClient.createDirectory(“myMatFiles”,'744')

将内容上传到Data Lake存储应该很简单。第一个参数指定在数据湖上可见的文件名。

dlClient.upload(“myadlfilename.csv”,“mylocalfilename.csv”);

同样,从数据湖下载内容也同样简单。

dlClient.download(“myadlfilename.csv”,“mylocalfilename.csv”);

删除内容使用文件的完整路径。也可以在一次操作中删除整个目录树。

tf=dlClient.delete(“/my/path/to/file1.mat”); tf=dlClient.deleteRecursive(“/myMatFiles”);

该工具还提供了其他特性,比如直接从服务中保存/检索变量,以及连接到可追加的流。所有这些都在文档.

最后,MATLAB中基于客户端的访问扩展了MATLAB的功能,可以连接到几乎无限量的存储。MATLAB及其工具箱提供的易于使用的算法满足了云存储和基础架构的能力,这些基础架构经过优化,可处理最苛刻的数据存储和分析场景。这些接口用作内置接口g块来大规模解决您的应用程序特定问题。这确实是一个超越时间的故事。。。

湖中淑女




与MATLAB®R2019a一起发布

|

评论

如需留言,请点击在这里登录到您的MathWorks帐户或创建新帐户。