课程
/云计算&大数据
/大数据
/Spark从零开始
这里面在map的时候,为什么不是把hello单词结果集写成(hello,2)呢?
2017-07-20
源自:Spark从零开始 4-2
正在回答
这里的 map(word=>(word,1)) 指的是将每一行中的单词进行统计,
之后reduceByKey{case (x,y)=>x+y}方指将所有行中相同单词的个数进行统计
从语法上来说,没问题。但是从语义上来说,为了计数,每个单词计数1次,同一词的计数相加得到出现的总次数,这是很自然的。若计数2次,为了得到总次数,相加后还要除2,这是没必要的。
Glacia1SugArLon
举报
本课程旨在让同学们了解Spark基础知识,掌握Spark基础开发.
1 回答2-2按照步骤来不能运行,是不是需要安装2-1先把spark安装好?
1 回答为什么最后会生成两个文件呢?
1 回答什么时候出后续课程
1 回答请问combineByKey求平均值的时候为什么有c1 c2两个partition
1 回答启动的时候报错,有什么地方还需要配么?