火花应用程序
创建并执行编译好的MATLAB®针对Spark™支持的Hadoop的应用程序®集群
万博1manbetx支持平台:Linux®只有。
在Spark上部署MATLAB应用程序有两种方式:
将tall阵列部署到支持Spark的Hadoop集群
使用Spark的MATLAB API部署应用程序
若要部署包含高数组的MATLAB应用程序,请参见将Tall array部署到Spark启用的Hadoop集群.有关如何使用高数组的详细信息,请参见高大的数组.
部署使用诸如函数的MATLAB应用程序flatMap
,这在Spark程序中很常见,请参见使用Spark的MATLAB API部署应用.
Spark的MATLAB API将Spark编程模型公开给MATLAB。因此,您将发现Spark函数如flatMap
,mapPartitions
,总
在创建MATLAB应用程序时可以很容易地使用。
请注意
使用MATLAB API for Spark开发的MATLAB应用程序如果包含高数组,则无法部署。
看到Apache Spark基础Spark概念的简短总结,以及已部署的MATLAB应用程序如何结合这些概念的讨论。
MATLAB拥有大量的科学和工程算法集合,Spark是用于大规模数据处理的快速通用引擎。通过在Spark上部署MATLAB应用程序,您可以在MATLAB中创建应用程序,并在启用Spark的集群上执行它们。
万博1manbetx支持的Apache Spark™版本:1.3 - -2. x。
类别
- 将Tall array部署到Spark启用的Hadoop集群
在支持Spark的Hadoop集群上创建和执行使用高数组的MATLAB应用程序 - 使用Spark的MATLAB API部署应用
使用Spark的MATLAB API创建和执行针对Spark的MATLAB应用程序