为了账号安全,请及时绑定邮箱和手机立即绑定

在Ubuntu下安装和搭建Hadoop环境(伪分布式环境)

标签:
Hadoop

最近在学习Hadoop,原本是在win10系统下装个虚拟机,在虚拟机上装的是CentOS操作系统,在该虚拟机上搭建好Hadoop环境之后,在学习WordCount的案例时,发现系统太慢了,还老是卡机,最后果断放弃使用虚拟机,转而使用Ubuntu操作系统(我的笔记本装了双系统:win10和Ubuntu16.04.5)。

备注:
1)、Hadoop版本选择
Hadoop目前有三个版本,分别为:apache hadoop、CDH(Cloudera Distributed Hadoop)、HDP(Hortonworks Data platform)。其中apache hadoop在使用过程中会存在JAR包冲突的问题,一般适合学习使用;CDH具有容易升级、不存在jar包冲突的问题,商业中使用该版本的比较多,学习中也优先选择;HDP存在升级和删除节点困难,一般也是用于商业。因此,我选择的是CDH版本。
2)、在搭建hadoop的环境过程中,主要参考了这篇博文Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)官方文档
3)、Hadoop cdh的下载地址:点击这里 ,我选择的是hadoop-2.6.0-cdh5.7.0

一、准备



根据hadoop官方文档的要求,配置hadoop的前置要求是安装Java JDK和SSH,因此首先安装jdk和ssh,为安装hadoop做准备。

webp

图片.png

1.1 创建hadoop用户
$sudouseradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell$ sudopasswd hadoop                  #为hadoop用户设置密码,之后需要连续输入两次密码$ sudoadduser hadoopsudo            #为hadoop用户增加管理员权限$ su- hadoop                          #切换当前用户为用户hadoop$ sudoapt-get update                  #更新hadoop用户的apt,方便后面的安装
1.2 安装SSH,设置SSH无密码登录
$ sudo apt-get install openssh-server   #安装SSH server$ ssh localhost                         #登陆SSH,第一次登陆输入yes$ exit                                  #退出登录的ssh localhost$ cd ~/.ssh/                            #如果没法进入该目录,执行一次ssh localhost$ ssh-keygen -t rsa



输入完$ ssh-keygen -t rsa 语句后,需要连续敲击三次回车,

webp

image


其中,第一次回车是让KEY存于默认位置,以方便后续的命令输入。第二次和第三次是确定passphrase,相关性不大。两次回车输入完毕以后,如果出现类似于下图所示的输出,即成功:

webp

image

$ cat ./id_rsa.pub >> ./authorized_keys #加入授权$ ssh localhost     #此时已不需密码即可登录localhost,并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案

webp

图片.png

二、安装jdk1.8

首先在Oracle官网下载linux版本的jdk1.8,然后进行安装和配置。

 mkdir ~/app       #创建app文件夹$ sudo tar -zxvf  jdk-8u181-linux-x64.tar.gz  -C /app    #/ 到压缩包所在的目录将JDK解压到/app目录下$ vim  ~/.bashrc       #给JDK配置环境变量

在./bashrc文件末尾添加如下代码:

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_181     #将路径换为自己jdk的路径export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH

修改完文件后,输入代码:

$ source ~/.bashrc    #使新配置的环境变量生效$ java -version       #检测是否安装成功,查看java版本

出现如下信息,即为安装成功。


webp

图片.png

到此,Hadoop的前置要求已经完成,下面开始进行hadoop的安装和配置。

三、安装hadoop2.6.0-cdh5.7.0

首先下载hadoop的压缩包, 下载地址:点击这里 ,选择自己需要的版本,这里我选择的是::hadoop-2.6.0-cdh5.7.0.tar.gz 。
下面进行安装:

$ sudo tar -zxvf  hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app   #解压到~/app目录下

给hadoop配置环境变量,将下面代码添加到~/.brashrc文件末尾:

export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin



同样,执行source ~/.brashrc使设置生效,并查看hadoop是否安装成功。

webp

图片.png

四、hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /hadoop-2.6.0-cdh5.7.0/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。
1.修改hadoop-env.sh文件
首先将jdk1.8的路径添(export JAVA_HOME=/home/hadoop/app/jdk1.8.0_181 )加到hadoop-env.sh文件

hadoop@Dell:~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop$ vim hadoop-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_181

webp

图片.png

2.修改core-site.xml文件:

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/home/hadoop/app/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property></configuration>

webp

图片.png

2.修改hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/hadoop/app/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/home/hadoop/app/hadoop/tmp/dfs/data</value>
        </property></configuration>

webp

图片.png

Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(可参考官方教程),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
3.验证
3.1 配置完之后,执行NameNode的格式化
(该代码只在第一次配置完之后执行一次,每次执行都会重新格式化一次)

$ bin/hdfs namenode -format

3.2 启动namenode和datanode进程,并查看启动结果

$ sbin/start-dfs.sh
$ jps

启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode” 和“SecondaryNameNode”

webp

图片.png

3.3 也可以通过浏览器访问: http://localhost:50070/  来验证hadoop是否启动成功。

webp

图片.png


至此,hadoop的安装就基本上完成了!需要使用YARN的话,还需要单独配置mapred-site.xml和yarn-site.xml文件。



作者:艳阳景
链接:https://www.jianshu.com/p/7905e0763a3d


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消