为了账号安全,请及时绑定邮箱和手机立即绑定

Spark从零开始

Terby JAVA开发工程师
难度初级
时长 2小时18分
学习人数
综合评分9.80
56人评价 查看评价
9.8 内容实用
9.7 简洁易懂
9.9 逻辑清晰
说对了,flink出来了hhh
老师讲的挺好的,大概讲的思路是按照《spark快速大数据分析》这本书讲的,很适合初学者。
老师的课程讲的很好,期待后续课程赶紧上线!

最新回答 / adime
办法一:在spark的conf目录下,在spark-env.sh文件中加入LD_LIBRARY_PATH环境变量LD_LIBRARY_PATH=$HADOOP_HOME/lib/native办法二:在 ~/.bashrc 设置一下 export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native试试看有没有用
老师讲的好清晰,对于入门来说真的很不错, 都是干货,期待后续课程

最新回答 / 宝慕林1045435
spark如果你的提交作业的方式是local,是不需要配置任何东西的,视频里面老师都是在spark-shell下进行操作的所以不需要配置任何东西,按照你的说法,spark-shell命令无效是因为没有去到spark的bin目录下执行命令,如果你往/etc/profile或者~/.bash_profile 下进行把spark的bin加入到PATH的的话就可以不用去到bin目录下也可以执行spark-shell。如果你的spark作业是提交在yarn等外部框架上面则需要配置spark-env.sh文件。
map函数生成的应该是键值对吧,值是1
普通话口音感人~~~

最新回答 / Dev_Christopher
这与RDD的分区数量有关,你后面学过这个就会知道的
Windows环境下的安装部署步骤 https://moon-rui.github.io/2018/11/26/spark_on_windows.html
入门了 感谢老师
课程须知
1、 简单Linux的操作
老师告诉你能学到什么?
1、了解Spark到底是什么 2、了解Spark和Hadoop的区别 3、了解Spark的基础知识和概念 4、掌握Spark RDD的基本操作和特性 5、掌握Spark程序的开发和部署流程

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消