怎样给Spark传递函数
1 回答
白猪掌柜的
TA贡献1893条经验 获得超10个赞
大讲台 spark在线培训为你解答:
第一种:匿名函数,处理的代码比较少的时候,可以采用匿名函数,直接写在算子里面:
myrdd.map(x => x+ 1)
第二种:全局单例对象中的静态方法:先定义object对象MyFunctions,以及静态方法:funcOne,然后传递MyFunctions.funcOne给RDD算子。
object MyFunctions {
def funcOne(s: String): String = { ... }
}
myRdd.map(MyFunctions.funcOne)
- 1 回答
- 0 关注
- 804 浏览
添加回答
举报
0/150
提交
取消