课程
/云计算&大数据
/大数据
/Spark从零开始
老师视频上说spark安装后会自动配置环境变量,但是我重新开启虚拟机后,spark-shell命令无效,我自己配置了环境变量才有效,这是为什么?
2018-12-07
源自:Spark从零开始 3-2
正在回答
spark如果你的提交作业的方式是local,是不需要配置任何东西的,视频里面老师都是在spark-shell下进行操作的所以不需要配置任何东西,按照你的说法,spark-shell命令无效是因为没有去到spark的bin目录下执行命令,如果你往/etc/profile或者~/.bash_profile 下进行把spark的bin加入到PATH的的话就可以不用去到bin目录下也可以执行spark-shell。如果你的spark作业是提交在yarn等外部框架上面则需要配置spark-env.sh文件。
举报
本课程旨在让同学们了解Spark基础知识,掌握Spark基础开发.
1 回答IDEA如何配置Spark环境
3 回答在IDEA中配置spark环境时usr/main中只有scala
1 回答这个是在什么环境下运行的?虚拟环境怎么配置?
1 回答启动的时候报错,有什么地方还需要配么?
2 回答到Spark的官网后遇到这种情况要怎么办?要怎么下载?