Hadoop入门之安装

[TOC]

• 环境检查

  检查java是否已经安装
  java -v

• 安装
  1. 安装JDK 1.7

  创建java目录

  mkdir /usr/java 
  cd /usr/java

安装jdk

1. 通过WinSCP或者其他方式将拷贝或者下载JDK安装包的/usr/java目录

2. 解压JDK
   tar -zxvf jdk-8u161-linux-x64.tar.gz

3. 设置环境变量

vi /etc/profile

输入上面命令后，然后按 i，将光标定位到文件最后一行，在输入下面代码：

#set java environment
JAVA_HOME=/usr/java/jdk1.8.0_161
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

然后按 ESC 键，输入 ":wq" 即保存退出该文件

输入下面命令让修改生效

source /etc/profile

验证 JDK 是否安装成功

java -version

检查是否安装了相关软件

rpm -qa|grep -E "openssh"

openssh-server-6.6.1p1-35.el7_3.x86_64
openssh-clients-6.6.1p1-35.el7_3.x86_64
openssh-6.6.1p1-35.el7_3.x86_64

安装缺失的软件：

sudo yum install openssh*

注册使用服务：

sudo systemctl enable sshd  
sudo systemctl start sshd 
或者 service sshd start 

开启防火墙的22端口：

sudo firewall-cmd --zone=public --add-port=22/tcp --permanent  
sudo service firewalld restart  

关于rsync，可见：http://man.linuxde.net/rsync

$ sudo yum install rsync

下载Hadoop软件

curl -O http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz

> 解压Hadoop到/usr/local目录

sudo tar -zxf hadoop-2.9.0.tar.gz -C /usr/local

> 运行Hadoop测试是否安装成功

cd /usr/local/hadoop-2.9.0
./bin/hadoop version

>设置Hdoop环境变量

// "编辑环境变量"
vim ~/.bashrc

> 设置环境变量

export PATH=$PATH:/usr/local/hadoop-2.9.0/sbin/:/usr/local/hadoop-2.9.0/bin/

> 保存并退出

ESC + :wq

> 刷新环境变量

source ~/.bashrc

> 更改Hadoop的配置
Hadoop的配置文件存放于/usr/local/hadoop-2.9.0/etc/hadoop目录，主要有以下几个配置文件：

graph TB
配置文件-->core-site.xml
配置文件-->dfs-site.xml
配置文件-->mapred-site.xml
配置文件-->yarn-site.xml
配置文件-->hadoop-env.sh

其中，后两个主要是跟YARN有关的配置。

将core-site.xml更改为如下内容：
```xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

然后再将hdfs-site.xml更改为如下内容：x

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

修改hadoop-env.sh中的JAVA_HOME

修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。
应当使用绝对路径。
export JAVA_HOME=${JAVA_HOME}                  //错误，不能这么改
export JAVA_HOME=/usr/java/jdk1.6.0_45        //正确，应该这么改

如果不修改Hadoop中的Java环境变量，则会报下面的错误：

Error: JAVA_HOME is not set and could not be found.

5.1 NameNode格式化

经过上面的配置，Hadoop是配置成功了，但是并不能工作，还需要进行初始化操作，因为我们已经配置了Hadoop的相关环境变量，因此我们可以直接执行如下命令：

hdfs namenode –format

5.2 开启 NameNode 和 DataNode 守护进程

通过start-dfs.sh命令开启NameNode 和 DataNode 守护进，第一次执行时会询问是否连接，输入”yes”即可（因为已经配置了ssh免密码登录），如下所示（请注意一定要用创建的hadoop用户来运行，如果不是hadoop请记得用su hadoop命令来切换到hadoop用户）：

start-dfs.sh

然后我们可以通过jps这个java提供的工具来查看启动情况：

jps

启动成功之后，访问localhost:50070查看NameNode和DataNode的信息以及HDFS的信息