主要内容

使用通用调度程序接口配置

通用调度器接口提供了配置MATLAB交互的灵活性®客户端,MATLAB工人,和第三方调度器。调度器使用通用接口当你想要完成定制接口MATLAB与调度程序设置。

您可以创建一个集群配置文件类型或使用一个内置的集群通用的。作为一项最佳实践,尽可能使用内置集群类型。

你必须使用通用的集群配置文件时:

  • 你连接到一个集群没有内置集群类型

  • MATLAB客户机和集群节点没有一个共享文件系统

  • MATLAB客户机无法直接向第三方提交作业调度器,或

  • 你需要完全定制如何提交给集群并行工作

配置一个集群使用一个内置的集群类型,明白了为粘,很多配置PBS Pro, OpenPBS LSF、扭矩,配置一个Hadoop集群,或为HPC配置包。

接口与第三方调度器

任务的通用调度程序接口提供了一种方法从并行计算工具箱™客户端会话你调度器和集群节点。为了达到这个目标,你必须提供你的MATLAB客户机与一组插件脚本。脚本包含指示特定于您的集群基础设施,比如如何与作业调度器沟通,以及如何工作和任务数据转移到集群节点。

万博1manbetx支持脚本

帮助你和调度程序接口,MathWorks®提供附件,以下第三方调度器或插件,你可以从GitHub下载®存储库或附加组件管理器。

插件 GitHub库

并行计算工具箱插件MATLAB并行服务器™与Slurm

 https://github.com/mathworks/matlab-parallel-slurm-plugin

并行计算工具箱插件MATLAB并行服务器与IBM频谱®LSF®

 https://github.com/mathworks/matlab-parallel-lsf-plugin

并行计算工具箱插件MATLAB并行服务器与网格引擎

 https://github.com/mathworks/matlab-parallel-gridengine-plugin

并行计算工具箱插件MATLAB并行服务器与PBS

 https://github.com/mathworks/matlab-parallel-pbs-plugin

并行计算工具箱插件MATLAB并行服务器与HTCondor

 https://github.com/mathworks/matlab-parallel-htcondor-plugin

使用的这些工作流调度程序下载适当的插件的脚本。

  • 你可以从GitHub库下载插件。

    • 克隆GitHub库从命令窗口在您的机器上。例如,克隆存储库的并行计算工具箱插件MATLAB并行服务器与IBM频谱LSF,使用:

      git克隆https://github.com/mathworks/matlab-parallel-lsf-plugin

    • GitHub页面在浏览器中访问和下载插件ZIP归档。

  • 另外,安装插件的MATLAB附加马槽,去家选项卡,在环境部分,单击附加组件图标。在插件浏览器,搜索插件并安装它。

  • 你也可以下载的插件MATLAB中央™文件交换。

额外的信息

  • 如果MATLAB客户端不能直接提交作业调度器,MATLAB支持的使用万博1manbetxssh远程集群协议提交命令。

  • 如果客户端和集群节点没有一个共享文件系统,MATLAB支持使用万博1manbetxsftp(SSH文件传输协议)之间复制的工作和任务文件你的电脑和集群。

  • 如果你想定制插件的行为脚本,您可以设置附加属性,例如AdditionalSubmitArgs。有关更多信息,请参见定制示例插件脚本的行为。

  • 如果你的调度器或不支持集群配置的存储库,建议您修改其中一个的脚本包。万博1manbetx为更多的信息关于如何编写一组插件脚本通用的调度器,明白了插件脚本通用的调度器(并行计算工具箱)。

创建一个通用的集群配置文件

示例设置LSF

这个例子展示了如何设置您的集群配置文件使用通用调度程序接口。它显示了LSF的设置调度程序在网络之间没有共享文件系统客户端和集群机器。下面的图表说明了集群的设置:

工作流的操作显示LSF调度器

在这种类型的配置,工作数据复制从客户端主机上运行Windows操作系统的主机集群(集群登录节点)运行UNIX®操作系统。从集群登录节点,LSFbsub命令提交作业调度器。当工作完成时,其输出复制回客户机主机。

需求

设置必须符合以下条件:

  • 客户机节点和集群登录节点必须支持万博1manbetxssh和sftp。

  • 集群节点必须能够调用登录bsub命令一个LSF提交作业调度器。你可以找到更多的关于这个自述文件非共享子文件夹内的安装文件夹。

配置一个集群配置文件

按照以下步骤配置集群配置文件。您可以修改这些选项根据您的设置。

  1. 提取LSF GitHub库文件夹并将其移动到一个位置,MATLAB客户机可以访问。

  2. 客户端主机上启动一个MATLAB会话。

  3. 从MATLAB桌面启动集群配置文件管理器。在家选项卡,环境部分中,选择平行>创建和管理集群。

  4. 创建一个新的概要文件在集群配置文件管理器中选择添加集群配置文件>通用的。

  5. 新的概要文件列表中选择,管理配置文件部分中,选择重命名并更改配置文件名称InstallTest。新闻输入。

  6. 在属性选项卡上,选择编辑并提供设置以下字段:

    1. 设置描述字段测试安装。

    2. 设置JobStorageLocation你想要的工作和任务的位置数据存储在客户端机器上(不是集群的位置),例如,C: \ Temp \ joblocation。

      你不能分享JobStorageLocation在并行计算运行不同版本的产品。s manbetx 845每个集群必须有它自己的版本JobStorageLocation。

    3. 集NumWorkers工人的数量你想要测试你的安装。

    4. 集NumThreads使用线程的数量在每个工人。

    5. 集ClusterMatlabRoot安装位置的MATLAB工人的机器上运行。

    6. 如果集群使用在线授权,集RequiresOnlineLicensing为true。

    7. 如果你设置RequiresOnlineLicensing来真正的,输入您的LicenseNumber。

    8. 集操作集群工作机器的操作系统。

    9. 集HasSharedFilesystem来假。此设置指示客户机节点和工人节点不能共享相同的数据的位置。

    10. 设置PluginScriptsLocation你的插件的脚本的位置。

    11. 连接到远程集群,下AdditionalProperties表中,选择添加。指定一个新属性的名字ClusterHost、价值集群主机名称和类型字符串。

    12. 一个远程集群上运行的工作没有一个共享文件系统,下AdditionalProperties表中,选择添加。指定一个新属性的名字RemoteJobStorageLocation、价值/ /分享/ joblocation网络和类型字符串。

  7. 点击完成保存您的集群配置文件的更改。对话框看起来如下:

    选择集群与InstallTest集群配置文件管理器概要文件。InstallTest概要文件的属性。

检查配置文件,执行后验证步骤验证集群配置和安装。

验证集群配置和安装

您可以指定要使用的工人数量当验证你的资料。如果你不指定的工人的数量验证选项卡,然后验证过程尝试使用尽可能多的工人所指定的值NumWorkers财产的属性选项卡。您可以指定一个较小的工人数量来验证您的配置没有占领整个集群。

  1. 从MATLAB桌面启动集群配置文件管理器。在家选项卡,环境区域,选择平行>创建和管理集群。

  2. 选择您的集群配置文件的清单。

  3. 单击验证选项卡。

  4. 使用复选框选择所有的测试或验证阶段的一个子集,并指定数量的工人时使用验证你的资料。

  5. 点击验证。

的验证结果选项卡显示输出。下面的图显示了一个概要文件,通过验证测试的结果。

选择集群与InstallTest集群配置文件管理器概要文件。验证结果InstallTest集群在右窗格中所示。

请注意

如果你验证失败的任何阶段,联系MathWorks安装支持团队万博1manbetx。

如果验证通过,你有一个有效的配置文件,您可以使用在其他并行应用程序。你可以做任何修改你的资料适合您的应用程序中,如NumWorkersRange,AttachedFiles,或AdditionalPaths。

保存你的资料对于其他用户来说,选择概要文件,然后单击出口。然后将你的资料保存到一个文件在一个方便的位置。集群配置文件管理器运行时,其他用户可以通过点击导入配置文件进口。

学习如何分配一个通用的集群配置文件和插件脚本其他人使用,明白了分发一个通用的集群配置文件和插件的脚本。

特殊的配置

根据您的集群架构,您可能需要执行额外的任务在你连接到通用的调度器。

定制的MPI构建

您可以使用一个MPI建立不同于并行计算提供的一个工具。更多信息与通用的调度器使用此选项界面,看到的使用不同的MPI基于UNIX系统。

运行和电网引擎的家人沟通工作

网格的示例脚本引擎的家庭依赖的存在matlab并行环境。并行环境(PE)设计编程环境的并行计算集群。运行工作交流MATLAB并行服务器集群和网格引擎的家庭,你必须建立一个matlab并行环境。

创建并行环境。以下步骤创建并行环境,然后让它可运行在所有队列。作为一项最佳实践,你的头节点集群上执行这些步骤。一些步骤需要管理员访问。

  1. 下载插件的脚本为网格引擎从GitHub库:

    或者,您可以下载插件的脚本MATLAB中央文件交换。

  2. 修改的内容matlabPe.template使用插槽的数量你想要的正确的位置startmatlabpe.sh和stopmatlabpe.sh文件。这些文件可以存在于一个共享的所有主机可以访问的位置,也可以将其复制到每台主机上的相同位置。你也可以改变其他值或添加额外的值matlabPe.template以适合您的集群。有关更多信息,请参考sge_pe文档提供了你的调度器。

  3. 添加matlab并行环境中,使用shell命令,如:

    qconf - ap matlabpe.template

  4. 使matlab并行环境中运行的所有队列:

    qconf mq all.q
    这个命令将打开一个文本编辑器进行更改。寻找线pe_list,并添加matlab。

  5. 确保你可以提交一个微不足道的体育工作:

    美元回声“hostname”| qsub pe matlab 1

  6. 使用qstat检查工作中正确运行,检查输出文件包含主机的名称,运行工作。默认的输出文件的文件名~ / STDIN.o # # #,在那里# # #是网格引擎工作数量。

请注意

如果你改变的名称并行环境之外的东西matlab,也改变提交功能。

配置防火墙集群在Windows

如果您使用的是Windows防火墙集群节点,您可以添加MATLAB作为一个允许程序。

在接下来的指示,matlabroot指的是MATLAB安装位置。

  1. 作为具有管理权限的用户登录。

  2. 在Windows执行以下脚本®命令提示符:

    matlabroot \工具箱\ \ bin \ addMatlabToWindowsFirewall.bat平行

如果您使用的是其他的防火墙,您必须配置这些单独添加MATLAB作为一个允许程序。

相关的话题