spark的foreach是并行的吗
1 回答
MMTTMM
TA贡献1869条经验 获得超4个赞
是并行的,其他并行的操作如下:
以下几种并行操作可以在RDDS上实现:
1、聚合:在驱动程序中使用相关函数对数据集进行聚合。
2、收集:发送该数据集的所有元素到驱动程序中。
3、流程:例如,一种用来更新并行数据的简单方法,就是并行化映射和收集整个数组。
4、遍历(foreach):通过用户自定义的函数遍历每个元素。只是这种函数的副作用很明显(这可能是用来将数据复制到另外一个系统中的功能,如下面所解释的用来更新的共享变量)。( 注意:这里的foreach的副作用,应该是说foreach只能用来遍历,不能用来对集合进行修改否则会发生很多奇怪的情况) 。
- 1 回答
- 0 关注
- 1782 浏览
添加回答
举报
0/150
提交
取消