matlab.compiler.mlspark.SparkContext类

包:matlab.compiler.mlspark
超类:

接口类初始化到启用Spark的集群的连接

展开全部页面

描述

一个SparkContext对象通过初始化到Spark集群的连接作为Spark™的入口点。它接受SparkConf对象作为输入参数，并使用该对象中指定的参数来设置与Spark执行环境建立连接所需的内部服务。

建设

sc= matlab.compiler.mlspark.SparkContext (相依）创建一个SparkContext对象初始化到Spark集群的连接。

输入参数

全部展开

`相依`- - - - - -变量名表示`SparkConf`对象
`SparkConf`对象

通过SparkConf对象的输入SparkContext．

例子:sc = matlab.compiler.mlspark.SparkContext(conf);

看到matlab.compiler.mlspark.SparkConf属性的信息SparkConf对象。

属性

这个类的属性是隐藏的。

方法

addJar	类型中需要执行的所有任务添加JAR文件依赖项`SparkContext`
广播	广播一个只读变量到集群
datastoreToRDD	转换MATLAB`数据存储`到一个火花抽样
删除	关闭连接到火花启用集群
getSparkConf	得到`SparkConf`配置参数
并行化	从local的集合中创建RDDMATLAB值
setCheckpointDir	设置rdd检查点所在的目录
setLogLevel	设置日志级别
文本文件	从文本文件创建RDD

例子

全部折叠

初始化到的连接火花启用集群

的SparkContext类使用Spark属性初始化到启用Spark的集群的连接。

将Spark属性设置为容器。映射对象sparkProp =容器。地图({“spark.executor.cores”}, {' 1 '})；创建SparkConf对象conf = matlab.compiler.mlspark.SparkConf(“浏览器名称”，“myApp”，.．.“大师”，“当地[1]”，“SparkProperties”, sparkProp);创建SparkContextsc = matlab.compiler.mlspark.SparkContext(conf);