Spark从零开始_技术问答

首页免费课 Spark从零开始问答

Spark从零开始

全部评论问答未解决精华

IDEA如何配置Spark环境

最新回答 / 755378268

https://www.imooc.com/qadetail/341618

1 回答 1376 浏览

2019-06-04

之前到scala的官网去下载了Scala，后来又在IDE中下载Scala插件，是不是重复了啊，各有什么用啊

最新回答 / 鲲t

IDE中的, 只是在ide中编译时会用的, 本地安装的, 是在控制台操作, 或是其他指定了该scala版本的运行程序才会使用,安装的路径不一样, 如果你能找到路径, 其实两个都是正常使用的

1 回答 1251 浏览 3-1 Spark开发环境搭建

2019-05-09

scala安装问题

最新回答 / 慕UI1389583

不重复，scala官网下载下载的是开发包，IDE中中的Scala插件是开发的用的。

1 回答 922 浏览 3-1 Spark开发环境搭建

2019-05-09

输入./sbin/start-master.sh命令，并没有启动master

最新回答 / w657395940

你是不是spark的环境没有搭好。老师讲的环境是基于hadoop搭建的。

1 回答 2379 浏览 3-2 开发第一个Spark程序

2019-03-30

在main下面的scala右击并没有出现scala class

+ 我来回答回答最高可+2积分

2 回答 1202 浏览 3-2 开发第一个Spark程序

2019-03-30

lines.first()报错

最赞回答 / 慕侠822756

老铁，我跟你一样遇到了这个问题，折腾了我好久终于解决了。我是deepin系统，装了“jdk-11.0.2"，怀疑是JDK版本的问题，后面就把它换成了"jdk1.8.0_201"，first函数终于执行成功了，你可以下载这个版本，或者格式类似这个版本的JDK把原来的JDK替换掉试试

1 回答 1294 浏览 2-1 spark安装

2019-02-26

为啥我的src/main目录只有Scala目录，没有Java目录？

+ 我来回答回答最高可+2积分

6 回答 1532 浏览 3-1 Spark开发环境搭建

2019-02-24

怎么回事？没有声音？？？听到声音就zizizi

最新回答 / qq_慕移动6544893

刷新网页试试

1 回答 1201 浏览 1-1 Spark简介

2019-01-24

启动spark woker时，提示native-hadoop不存在

最新回答 / adime

办法一：在spark的conf目录下，在spark-env.sh文件中加入LD_LIBRARY_PATH环境变量LD_LIBRARY_PATH=$HADOOP_HOME/lib/native办法二：在 ~/.bashrc 设置一下 export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native试试看有没有用

1 回答 1151 浏览 3-2 开发第一个Spark程序

2019-01-14

dev编译spark源码一直编译不了，求解答

最新回答 / 盛平

加个 -V 看看日志。

1 回答 1790 浏览 2-1 spark安装

2018-12-13

spark如果你的提交作业的方式是local，是不需要配置任何东西的，视频里面老师都是在spark-shell下进行操作的所以不需要配置任何东西，按照你的说法，spark-shell命令无效是因为没有去到spark的bin目录下执行命令，如果你往/etc/profile或者~/.bash_profile 下进行把spark的bin加入到PATH的的话就可以不用去到bin目录下也可以执行spark-shell。如果你的spark作业是提交在yarn等外部框架上面则需要配置spark-env.sh文件。

1 回答 2299 浏览 3-2 开发第一个Spark程序

2018-12-07