-
rdd基本操作之action介绍,
action表示在rdd上计算出来一个结果。
把结果返回给driver program或保存在文件系统,count()、save都算是基本的action。
查看全部 -
rdds课程小结,集合运算,map、filter、flatmap等
查看全部 -
求一个rdds在另一个rdds的包含,请用rdd1.subtract(rdd2),如下图所示:
查看全部 -
rdds求交集,如rdd1.intersection(rdd2),如下图所示:
查看全部 -
合并rdds用,rdd1.union(rdd2),如下图所示:
查看全部 -
RDDs去重,如rdd1.distinct()
查看全部 -
如何定义RDDs,声明如下图所示:
查看全部 -
flatMap()后的打印结果如截图所示:
查看全部 -
逐元素transformation,
flatmap():
对每个输入元素,输出多个输出元素。
flat压扁的意思,将rdd中元素压扁后返回一个新的rdd。
查看全部 -
filter的用法,生成新的rdd。如截图所示:
查看全部 -
逐元素transformation
filter():
filter()接收函数,返回只包含满足filter()函数的元素的新rdd。
查看全部 -
将单独的元素转换成map类型的rdd,如截图所示。
查看全部 -
逐元素transformation
map():
map()接收函数,把函数应用到rdd的每一个元素,返回新rdd。
查看全部 -
transformation介绍,
转换操作,
从之前的rdd构建一个新的rdd,像map()和filter()操作。。。
查看全部 -
课程小结
driver program,有main方法是整个程序的入口
sparkcontext,就是sc
rdds
scala简单介绍
查看全部
举报