章节
问答
课签
笔记
评论
占位
占位
今日不再显示

下一节课程: Rdds介绍 (17:25) 下一节 重新观看

3 秒后播放下一节

为你推荐

Terby
JAVA开发工程师

从事大数据领域工作5年。做过基于hadoop的电商推荐项目,用户画像项目等,做过基于Storm的新闻实时推荐项目,基于SolrCloud的用户运营系统等。具有大数据平台下的数据仓库搭建和数据挖掘经验。

提问题

写笔记

代码语言
公开笔记
提交
加群二维码

打开微信扫码自动绑定

您还未绑定服务号

绑定后可得到

  • · 粉丝专属优惠福利
  • · 大咖直播交流干货
  • · 课程更新,问题答复提醒
  • · 账号支付安全提醒

收藏课程后,能更快找到我哦~

使用 Ctrl+D 可将课程添加到书签

邀请您关注公众号
关注后,及时获悉本课程动态

举报

0/150
提交
取消
全部 精华 我要发布

最新回答 / KeithTt
差不多是这样,但是可以有多个master,以及任务是调度到worker节点,资源不是完全池化的

最新回答 / AnananananD
ssh是个网络协议,用于远程控制。配置ssh免密防止启动集群的时候每次都要输入密码

最新回答 / 慕的地1117626
使用standalone mode启动spark:命令行输入<...code...>参考https://uohzoaix.github.io/studies//2014/09/13/sparkRunning/

最新回答 / w657395940
你是不是spark的环境没有搭好。老师讲的环境是基于hadoop搭建的。

最新回答 / adime
办法一:在spark的conf目录下,在spark-env.sh文件中加入LD_LIBRARY_PATH环境变量LD_LIBRARY_PATH=$HADOOP_HOME/lib/native办法二:在 ~/.bashrc 设置一下 export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native试试看有没有用

最新回答 / 宝慕林1045435
spark如果你的提交作业的方式是local,是不需要配置任何东西的,视频里面老师都是在spark-shell下进行操作的所以不需要配置任何东西,按照你的说法,spark-shell命令无效是因为没有去到spark的bin目录下执行命令,如果你往/etc/profile或者~/.bash_profile 下进行把spark的bin加入到PATH的的话就可以不用去到bin目录下也可以执行spark-shell。如果你的spark作业是提交在yarn等外部框架上面则需要配置spark-env.sh文件。

最新回答 / Dev_Christopher
这与RDD的分区数量有关,你后面学过这个就会知道的

最新回答 / 新手小白_请多指教
我也出现了类似问题,请问你是怎么解决的?

最新回答 / 慕斯8795013
视频中宿主机是苹果系统,虚拟机中CentOS。

最新回答 / 巴黎嫩的香柏树
要配置一下 build.sbt 然后保存,idea会自动下载(配置的时候还要看自己的版本进行配置)

最赞回答 / Leco
内个需要自己添加 ...   也可以不使用SBT添加依赖jar,打开你spark安装目录下/spark-2.1.1/jars检索spark-core.jar这个名字就会找到对应的jar包将这个jar包导入到工程里就可以了 

最新回答 / 执着的青蛙
你创建的是JAVA项目才会生成JAVA目录,现在创建的是Scala项目,所以生成的是Scala目录。这个是正确的
全部 我要发布
最热 最新
只看我的

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

账号登录 验证码登录

遇到问题
忘记密码

代码语言