Spark从零开始_技术问答

首页免费课 Spark从零开始问答

Spark从零开始

全部评论问答未解决精华

qq_慕运维5567164

入门了感谢老师

0 5-1 Spark课程总结

2018-11-04

做处理时很多的key值都是重复的，这种情况的key-value是如何存贮的呢并且，怎么操作让key值唯一不重复

最赞回答 / V还在路上

自己再追加一个随机值呢

1 回答 1593 浏览 4-7 KeyValue对RDDs(二)

2018-11-01

血色万花筒

Hadoop的中间数据集存储在磁盘上，并不是硬盘

1 1-3 Spark与Hadoop的比较

2018-10-23

创建sbt项目时一直停留dump project structure from sbt ，没有进入进度条，怎么回事？

最赞回答 / 忘川_0004

<...图片...>建议看这个地方，这里的报错可以很好的解决问题

3 回答 14069 浏览 3-1 Spark开发环境搭建

2018-10-17

创建sbt项目时，sbt的版本需要和spark、scala版本相兼容吗？还是所有的 sbt版本都可以

最新回答 / 慕沐9545015

sbt 所有版本都可以

1 回答 4569 浏览 3-1 Spark开发环境搭建

2018-09-29

Godbaby

rdd1.union(rdd2).foreach(println)

感觉这样写更简单 = - =

1 4-3 RDDs基本操作之Transformations（二）

2018-09-11

慕勒1296595

~~~ 《python快速大数据分析》，老师一定参考了这本书啊哈哈

0 1-2 Spark生态介绍

2018-09-08

慕后端225195

老师讲得很不错，对spark的认识算是入门了，期待老师的后续课程。

1 5-1 Spark课程总结

2018-08-25

幕布斯4066657

非常感谢老师
老师的课程应该都是基于官方文档，但是官方文档有些部分很难理解，而且不容易记住，有了这次上课的经历作为基础，我会去看官方文档，这样会更加深入的学下去。
再次感谢老师！

0 5-1 Spark课程总结

2018-08-18

淇奥竹猗

##汇总出科目的数量和个人总成绩:
##第一次遇到key=jake或者key=mike时，执行：score=>(1,score)，初始化：科目总数为1，总成绩为第一个科目的成绩；
##之后再遇到key=jake或者key=mike时，执行：(c1:(Int,Double),newScore)=>(c1._1+1,c1._2+newScore)，科目数加1，总成绩加上本次科目成绩；
##合并所有partition上面的科目数和成绩：(c1:(Int,Double),c2:(Int,Double))=>(c1._1+c2._1,c1._2+c2._2)

1 4-7 KeyValue对RDDs(二)

2018-08-13