为了账号安全,请及时绑定邮箱和手机立即绑定

3.如何安装Apache Spark

标签:
Spark

原文链接:http://blogxinxiucan.sh1.newtouch.com/2017/07/23/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85Apache-Spark/

下表列出了一些重要的链接和先决条件:

当前版本1.0.1 @ http://d3kbcqa49mib13.cloudfront.net/spark-1.0.1.tgz
下载页面https://spark.apache.org/downloads.html
JDK版本(必填)1.6以上
Scala版本(必填)2.10以上
Python(可选)[2.6,3.0)
简单构建工具(必需)http://www.scala-sbt.org
开发版本git clone git://github.com/apache/spark.git
Building说明https://spark.apache.org/docs/latest/building-with-maven.html
Maven3.0以上

Apache Spark可以配置为独立运行,也可以在Hadoop V1 SIMR或Hadoop 2 YARN / Mesos上运行。Apache Spark需要Java,Scala或Python中等技能。这里我们将看到如何在独立配置中安装和运行Apache Spark。

  1. 安装JDK 1.6+,Scala 2.10+,Python [2.6,3)和sbt

  2. 下载Apache Spark 1.0.1发行版

  3. 在指定的目录中解压缩并解压缩spark-1.0.1.tgz

akuntamukkala@localhost~/Downloads$ pwd 
   /Users/akuntamukkala/Downloads akuntamukkala@localhost~/Downloads$ tar -zxvf spark- 1.0.1.tgz -C /Users/akuntamukkala/spark

4、 从#4转到目录并运行sbt来构建Apache Spark

akuntamukkala@localhost~/spark/spark-1.0.1$ pwd /Users/akuntamukkala/spark/spark-1.0.1 akuntamukkala@localhost~/spark/spark-1.0.1$ sbt/sbt assembly

5、 启动Apache Spark独立REPL对于Scala,请使用:

/ Users / akuntamukkala / spark / spark - 1.0。1 / bin / spark - shell

对于Python,请使用:

/Users/akuntamukkala/spark/spark-1.0.1/bin/ pyspark

6.、转到SparkUI @ http:// localhost:4040



作者:全能程序猿
链接:https://www.jianshu.com/p/8b33ec99acb7


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消