为了账号安全,请及时绑定邮箱和手机立即绑定

Spark+Jupyter=在线文本数据处理逻辑测试平台

标签:
Spark

前言

最近在学习Spark,除了原生的Scala以外,Spark还提供了一个pyspark支持Python。以前曾经搭过一个基于IPython notebook的在线代码运行平台,其中用到的numpy,scipy,matplotlib,pandas等文本/数据处理库让我觉得如果能和pyspark结合说不定是个不错的组合——可以直观的测试代码逻辑,比起shell不知道要高到哪里去了。

至于这个平台,你可以搭载在树莓派,阿里云ecs,甚至是本机架设,方便快捷简单易上手。

事实上对于这篇文章,你也可以单纯把它看作是单机布置伪分布式Spark的教程,因为前面步骤一样一样的。

前期准备

硬件:

Linux/Mac计算机 x1

Linux用Ubuntu作为示例,Mac默认有HomeBrew或者Macport

软件:

Java环境,配置过JAVA_HOME
Python环境,默认为Python2

需联网,没有网络的请自行下载源码包并上传至机器

下载

Spark:

前往Apache官网下载:

  • hadoop2.6.0.tar.gz

  • spark-1.6.1-bin-hadoop2.6.tar.gz

  • scala-2.10.6.tar.gz

下载并统一使用

tar xvzf XXX.tar.gz

进行解压,之后执行

$mv hadoop2.6.0 /usr/local/hadoop$mv spark-1.6.1-bin-hadoop2.6 /usr/local/spark$mv scala-2.10.6 /usr/lcoal/scala

将文件夹移动到/usr/local备用

IPython:

之前用的Ipython notebook已经独立出来变成了jupyter,在这个步骤Python首先要安装setuptools,之后执行

$easy_install pip virtualenv

Virtualenv是Python的一个沙盒环境,适合配置不同版本的库来适配不同应用。
之后用Virtualenv创建一个IPython ENV

$cd /your/IPython/path/
$virtualenv ipython
$source ipython/bin/activate
(ipython)$

当前缀出现(ipython)的时候,说明这个env已经创建成功并正在使用中,如果需要退出就执行

(ipython)$cd ipython/bin && deactivate
$

之后在ipython环境中执行

(ipython)$pip install ipython jupyter numpy scipy pandas snownlp

安装matplotlib库则稍微麻烦些,需要先安装其依赖的包libpng和freetype
安装libpng:

$apt-get install libpng-dev

安装freetype:

$cd ~/Downloads
$wget http://download.savannah.gnu.org/releases/freetype/freetype-2.4.10.tar.gz$tar zxvf freetype-2.4.10.tar.gz
$cd freetype-2.4.10/
$./congfigure
$make
$make install

之后执行

pip install matplotlib

配置环境变量

在这一步,Ubuntu请执行

$vim ~/.bashrc

Mac执行

$vim ~/.bash_profile

在文件末尾输入:

export PATH="$PATH:/usr/local/share/scala/bin"export HADOOP_INSTALL=/usr/local/hadoopexport PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"export SPARK_HOME=/usr/local/sparkexport PATH=$PATH:$SPARK_HOME/binexport PYTHONPATH=$PYTHONPATH:$SPARK_HOME/pythonexport PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python/lib/py4j-0.9-src.zip
IPYTHON_OPTS="notebook"$SPARK_HOME/bin/pyspark

:wq保存退出之后可以开始进行最后一步的spark环境配置了

Spark配置:

说是Spark的配置其实是更像是Hadoop的配置,毕竟Spark默认配置就能运行。
首先进入Hadoop的配置文件夹

$cd /usr/local/hadoop/etc/hadoop$ls

你可以看到以下几个文件

  • core-site.xml

  • yarn-site.xml

  • mapred-site.xml

  • hdfs-site.xml

别急一个一个来

vim core-site.xml

写入

<property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value></property>
vim yarn-site.xml

写入

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value></property><property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value></property>

如果没有mapred-site.xml

$ mv mapred-site.xml.template mapred-site.xml && vim mapred-site.xml

写入

<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value></property>
vim hdfs-site.xml

写入

<property>
   <name>dfs.replication</name>
   <value>1</value>
 </property>

呼,长嘘一口气
然后格式化一下namenode

$hdfs namenode -format

启动hadoop服务

$start-all.sh

输入数次密码,如果不想每次都输密码就百度一下hadoop的ssh免密配置

$jps

看到如下

17785 SecondaryNameNode 
17436 NameNode 
17591 DataNode 
18096 NodeManager 
17952 ResourceManager 
23635 Jps

很好你成功启动了hadoop,接下来进入spark文件夹

$cd $SPARK_HOME/sbin$start-all.sh

输入一次密码之后查看jps是否多了一个worker和一个master,不出意外的话你的spark应该是能运行了

启动Jupyter

好累啊终于到了这一步了,进入ipython环境的前提下执行

(ipython)$jupyter notebook --generate-config
(ipython)$vim ~/.jupyter/jupyterA_notebook_config.py

写入

c.NotebookApp.ip='*'c.NotebookApp.open_browser = Falsec.NotebookApp.port =8888

然后执行

jupyter notebook

在浏览器输入http://ip_address:8888就能访问辣!
然后就愉快的新建notebook开始敲代码叭!
oh yeah



作者:蔡菜寀
链接:https://www.jianshu.com/p/bbd4190089e7


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
移动开发工程师
手记
粉丝
46
获赞与收藏
144

关注作者,订阅最新文章

阅读免费教程

  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消