最近在学习Hadoop,原本是在win10系统下装个虚拟机,在虚拟机上装的是CentOS操作系统,在该虚拟机上搭建好Hadoop环境之后,在学习WordCount的案例时,发现系统太慢了,还老是卡机,最后果断放弃使用虚拟机,转而使用Ubuntu操作系统(我的笔记本装了双系统:win10和Ubuntu16.04.5)。
备注:
1)、Hadoop版本选择
Hadoop目前有三个版本,分别为:apache hadoop、CDH(Cloudera Distributed Hadoop)、HDP(Hortonworks Data platform)。其中apache hadoop在使用过程中会存在JAR包冲突的问题,一般适合学习使用;CDH具有容易升级、不存在jar包冲突的问题,商业中使用该版本的比较多,学习中也优先选择;HDP存在升级和删除节点困难,一般也是用于商业。因此,我选择的是CDH版本。
2)、在搭建hadoop的环境过程中,主要参考了这篇博文Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境) 和官方文档
3)、Hadoop cdh的下载地址:点击这里 ,我选择的是hadoop-2.6.0-cdh5.7.0
一、准备
根据hadoop官方文档的要求,配置hadoop的前置要求是安装Java JDK和SSH,因此首先安装jdk和ssh,为安装hadoop做准备。
图片.png
1.1 创建hadoop用户
$sudouseradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell$ sudopasswd hadoop #为hadoop用户设置密码,之后需要连续输入两次密码$ sudoadduser hadoopsudo #为hadoop用户增加管理员权限$ su- hadoop #切换当前用户为用户hadoop$ sudoapt-get update #更新hadoop用户的apt,方便后面的安装
1.2 安装SSH,设置SSH无密码登录
$ sudo apt-get install openssh-server #安装SSH server$ ssh localhost #登陆SSH,第一次登陆输入yes$ exit #退出登录的ssh localhost$ cd ~/.ssh/ #如果没法进入该目录,执行一次ssh localhost$ ssh-keygen -t rsa
输入完$ ssh-keygen -t rsa 语句后,需要连续敲击三次回车,
image
其中,第一次回车是让KEY存于默认位置,以方便后续的命令输入。第二次和第三次是确定passphrase,相关性不大。两次回车输入完毕以后,如果出现类似于下图所示的输出,即成功:
image
$ cat ./id_rsa.pub >> ./authorized_keys #加入授权$ ssh localhost #此时已不需密码即可登录localhost,并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案
图片.png
二、安装jdk1.8
首先在Oracle官网下载linux版本的jdk1.8,然后进行安装和配置。
mkdir ~/app #创建app文件夹$ sudo tar -zxvf jdk-8u181-linux-x64.tar.gz -C /app #/ 到压缩包所在的目录将JDK解压到/app目录下$ vim ~/.bashrc #给JDK配置环境变量
在./bashrc文件末尾添加如下代码:
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_181 #将路径换为自己jdk的路径export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH
修改完文件后,输入代码:
$ source ~/.bashrc #使新配置的环境变量生效$ java -version #检测是否安装成功,查看java版本
出现如下信息,即为安装成功。
图片.png
到此,Hadoop的前置要求已经完成,下面开始进行hadoop的安装和配置。
三、安装hadoop2.6.0-cdh5.7.0
首先下载hadoop的压缩包, 下载地址:点击这里 ,选择自己需要的版本,这里我选择的是::hadoop-2.6.0-cdh5.7.0.tar.gz 。
下面进行安装:
$ sudo tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app #解压到~/app目录下
给hadoop配置环境变量,将下面代码添加到~/.brashrc文件末尾:
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
同样,执行source ~/.brashrc使设置生效,并查看hadoop是否安装成功。
图片.png
四、hadoop伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /hadoop-2.6.0-cdh5.7.0/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。
1.修改hadoop-env.sh文件
首先将jdk1.8的路径添(export JAVA_HOME=/home/hadoop/app/jdk1.8.0_181 )加到hadoop-env.sh文件
hadoop@Dell:~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop$ vim hadoop-env.sh export JAVA_HOME=/home/hadoop/app/jdk1.8.0_181
图片.png
2.修改core-site.xml文件:
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/app/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>
图片.png
2.修改hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/app/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/app/hadoop/tmp/dfs/data</value> </property></configuration>
图片.png
Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(可参考官方教程),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
3.验证
3.1 配置完之后,执行NameNode的格式化
(该代码只在第一次配置完之后执行一次,每次执行都会重新格式化一次)
$ bin/hdfs namenode -format
3.2 启动namenode和datanode进程,并查看启动结果
$ sbin/start-dfs.sh $ jps
启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode” 和“SecondaryNameNode”
图片.png
3.3 也可以通过浏览器访问: http://localhost:50070/ 来验证hadoop是否启动成功。
图片.png
至此,hadoop的安装就基本上完成了!需要使用YARN的话,还需要单独配置mapred-site.xml和yarn-site.xml文件。
作者:艳阳景
链接:https://www.jianshu.com/p/7905e0763a3d
共同学习,写下你的评论
评论加载中...
作者其他优质文章