Spark中parallelize函数和makeRDD函数的区别
1 回答
紫衣仙女
TA贡献1839条经验 获得超15个赞
Spark主要提供了两种函数:parallelize和makeRDD:
1)parallelize的声明:
def parallelize[T: ClassTag](
seq: Seq[T],
numSlices: Int = defaultParallelism): RDD[T]
2)makeRDD的声明:
def makeRDD[T: ClassTag](
seq: Seq[T],
numSlices: Int = defaultParallelism): RDD[T]
def makeRDD[T: ClassTag](seq: Seq[(T, Seq[String])]): RDD[T]
3)区别:
A)makeRDD函数比parallelize函数多提供了数据的位置信息。
- 1 回答
- 0 关注
- 1147 浏览
添加回答
举报
0/150
提交
取消