配置一个Hadoop集群

并行MATLAB®代码包含数组和mapreduce函数可以从适当配置的MATLAB客户端提交到Hadoop集群。

要将客户机配置为在集群上运行MATLAB代码,您必须已经能够从目标客户机机器向集群提交。客户端机器必须有Hadoop®安装说明可以访问MATLAB之外的集群。

许多Hadoop发行版不支持直接访问Linux万博1manbetx®基于Windows的集群®客户。Windows客户端用户通常需要设置一个Linux网关节点,该节点可以通过SSH或VNC从Windows客户端访问。然后可以从这个网关节点访问集群。

集群配置

  1. 集成MATLAB并行服务器™您的集群基础设施。说明,请参阅集成MATLAB与第三方调度器

  2. 如果集群需要Kerberos身份验证,请确保您的MATLAB并行服务器安装配置正确。说明,请参阅Kerberos身份验证

客户端配置

  1. 确保您的客户端可以访问MATLAB之外的Hadoop集群。

  2. 如果集群需要Kerberos身份验证,请确保为客户机MATLAB安装配置了Kerberos身份验证。说明,请参阅Kerberos身份验证

从内部MATLAB访问群集,成立了parallel.cluster.Hadoop对象使用以下语句。

setenv('HADOOP_HOME', '/path/to/hadoop/install') cluster = parallel.cluster.Hadoop;

使用mapreduce指定mapreduce在Hadoop集群对象上运行。

有关如何在Hadoop集群上运行并行MATLAB代码的示例,请参见在Hadoop集群上运行mapreduce(并行计算工具箱)和在启用Spark的Hadoop集群上使用Tall数组(并行计算工具箱)。

Kerberos身份验证

如果集群使用Kerberos身份验证,则需要使用Oracle®Java®加密扩展,您必须配置MATLAB和的所有安装MATLAB并行服务器。如果你使用的是Hortonworks®或Cloudera®在发行版中,您可能需要完成这些配置步骤。

对于客户端和工作人员MATLAB安装,配置说明是相同的。

从R2018b开始,通过在Java安装中启用适当的安全策略来配置MATLAB安装。

  1. 在MATLAB编辑器中,打开文件$ {MATLAB_ROOT} / sys / java / jre / ${弓}/ jre / lib /安全/ java.security

  2. 改变行

    # crypto.policy =无限
    crypto.policy =无限

对于以前的版本,必须从Oracle下载额外的安全文件。

  1. 从Oracle Java SE页面下载Oracle Java加密扩展zip文件。

  2. 将下载的zip文件解压缩到一个临时文件夹中。

  3. 替换文件local_policy.jarUS_export_policy.jar在文件夹$ {MATLABROOT} / sys / java / jre / ${弓}/ jre / lib /安全下载的版本。

Hadoop版本支持万博1manbetx

  • MATLABmapreduce在Ha万博1manbetxdoop 2上受支持。x集群。注意对Hadoop的万博1manbetx支持1。删除了x个集群。

  • MATLAB高阵列的火花支持万博1manbetx®启用的Hadoop集群2.X。在星火启用Hadoop集群支持的客户端的所有架构,同时支持Linux和Mac架构的集群可以使用高大的阵列。万博1manbetx这包括跨平台的支持。万博1manbetx

功能 结果 而不是使用 兼容性的考虑
万博1manbetx支持运行MATLABmapreduce在Hadoop 1。删除了x个集群。 错误 有使用的Hadoop集群2.X安装运行MATLABmapreduce MATLAB迁移mapreduce在Hadoop 1上运行的代码。x到Hadoop 2.x。

另请参阅

相关话题