使用高阵列和数据存储的大数据工作流 - Matlab＆Simulink万博1manbetx

使用高阵列和数据存储的大数据工作流程

该图示出了典型的工作流，使用高阵列来分析大数据集。在此工作流程中，您可以在缩放之前分析数据的小子集，以分析整个数据集。并行计算可以帮助您从六步扩展到七个。也就是说，在检查代码在小数据集上工作后，将其运行在整个数据集上。你可以使用matlab^®增强此工作流程。

问题	解决方案	需要产品s manbetx 845	更多信息
你的数据太大了吗？	要使用任何数量的行使用内存up-mement数据，请使用高阵列。此工作流程非常适合数据分析和机器学习。	马铃薯	高存储器数据的阵列（MATLAB）
	在本地机器上并行使用高阵列。	马铃薯并行计算工具箱™	在平行池上使用高阵列
	在群集上并行使用高阵列。	马铃薯并行计算工具箱 MATLAB并行服务器™	使用高阵列在启用的HADOOP集群上
	如果您的数据在多个维度中很大，请使用`分散式`反而。	马铃薯并行计算工具箱 MATLAB并行服务器	将阵列分发给平行工人

并行计算工具箱可以通过使用多核计算机的完整处理能力来立即加速高阵列计算，以执行具有并行工人池的应用程序。如果您已安装并行计算工具箱，那么您可能不需要做任何特殊的事情来利用这些功能。有关使用具有并行计算工具箱的高阵列的更多信息，请参阅在平行池上使用高阵列。

执行高阵列时，如果您有并行计算工具箱，则默认执行环境使用本地MATLAB会话或本地并行池。默认池使用本地工人，通常是计算机中每个核心的一个员工。使用Mapreducer.函数更改高阵列的执行环境以使用不同的群集。

使用高阵列开发算法的好处是您只需要编写一次代码。您可以在本地开发代码，然后使用Mapreducer.扩大并利用并行计算工具箱提供的功能MATLAB并行服务器。