-
spark提交作业
查看全部 -
Scala的安装
查看全部 -
spark的安装
查看全部 -
spark的组件
查看全部 -
实例：
计算品均值：
val scores=sc.parallelize(("jake",80.0),("jake",90.0),("jake",85.0),("mike",85.0),("mike",92.0),("mike",90.0))
scores.foreach(println)
val score2=scores.combineByKey(x=>(1,x),（c1:(Int,Double),newScore）=>(c1._1+1,c1.2+newScore),(c1:(Int,Double),c2:(Int,Double))=>(c1._1+c2._1,c1._2+c2._2))
其中x代表分数
score2.foreach(println)
val average=score2.map{case(name,(num,score))=>(name,score/num)}
average.foreach(println)
查看全部 -
查看全部 -
缓存：
查看全部 -
Action:
查看全部 -
集合运算：
并集：rdd1.union(rdd2)
交集：rdd1.intersection(rdd2)
去重： rdd1.distinct()
一个集合有而另一个没有： rdd1.subtract(rdd2)
查看全部 -
查看全部 -
查看全部 -
查看全部 -
查看全部 -
查看全部 -
查看全部
举报
0/150
提交
取消