-
开发第一个spark程序： wordcount
设置应用名，val conf=new sparkconf（）。setappname（“”）
设置上下文根，val sc =new sparkcontext（conf）
加载文件，val input=sc。textfile（“”）
通过分隔符获取数据行（压扁操作），val lines = input。flatmap（line=》line。split（“”））
获取单词个数count，转换成map对象，val count= lines。map（word=》（word，1））。reducebykey{case （x，y）=》x+y}
输出结果，val output=count。saveastextfile（“”）
查看全部 -
填写类名和类型，类型选择object。
查看全部 -
开发第一个spark程序，创建scala类，kotlin file、class
查看全部 -
开发第一个spark程序，需要在scala项目的build.sbt文件下配置项目名称、版本号、scala版本以及相关的依赖。
查看全部 -
开发第一个spark程序，计算单词的个数。
查看全部 -
设置ssh免密登录的操作命令：
查看全部 -
开发第一个spark程序
配置ssh无密登录：
ssh-keygen
.ssh目录下 cat xxx_rsa.pub > authorized_keys
chmod 600 authorized_keys
查看全部 -
课程小结
scala下载、安装
idea下载安装
插件安装
查看全部 -
设置idea光标所在行背景颜色。
查看全部 -
设置idea字体，先执行save as，再手动修改size大小。
查看全部 -
设置idea的颜色，主题选择darcula。
查看全部 -
创建scala项目，
file---new---project---scala----sbt【打包】
然后选择对应的版本，
如：jdk 1.8 sbt 0.13.8 scala 2.10.5
查看全部 -
spark开发环境搭建
版本匹配问题
scala2.10.5、jdk1.8、spark1.6.2、sbt0.13.8
查看全部 -
spark开发环境搭建
scala插件安装：
查看全部 -
spark开发环境搭建
intellij idea的下载、安装：
idea注册码链接：http://idea.lanyus.com
查看全部
举报