Spark 开发环境搭建（四）-Hadoop 集群创建

四、Hadoop 集群创建

根据前几节的设置，我们已经对一台机器完成了从网络到hadoop等一些列的配置，为便于测试hadoop 集群，本节将介绍如何利用virtual box clone工具创建相同的机器。

1. 利用virtual box manager clone 机器

在VBox的安装目录下有一个VBoxManage.exe程序，利用该工具可以clone机器，具体的使用方式如下：

VBoxManage.exe  旧机器.vdi 新机器.vdi

以上命令就完了一台机器的clone，再次执行上述命令clone出另外两台机器slave1和slave2。VBoxManage.exe还有其他很多实用的功能，磁盘扩充等，需要时请自行查阅。

2. slave机器配置

2.1 虚拟创建

上一步中我们只是clone了virtualbox的vdi文件，那么我们可以利用他们新建两个虚拟机，新建过程和之前创建虚拟的过程一样，唯一的区别是在新建虚拟硬盘的时候，我们选择已有的vdi文件，就是刚才clone处理的虚拟机文件。

加载已有vdi文件

然后点击创建，新的虚拟机就创建完成，之后直接点击启动即可。

2.2 机器配置

该步骤的配置以slave1为例，目前clone机器的名字仍然是master，稍后会做修改

2.2.1 修改机器静态IP，

用ifconfig命令查看机器ip，此时机器应该有了一个初始的ip，例如

网络IP 情况

我们所要修改的是第二网卡所对应IP，

cd /etc/sysconfig/network-scripts/
sudo vim ifcfg-enp0s8   // 修改第二个网卡配置配置文件

因为机器是从master clone过来的，机器上所有的配置都与master，因此只需做少许修改

TYPE=Ethernet
BOOTPROTO=staticDEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=enp0s8
UUID=3f19ccd2-06a3-4052-b370-37ad9178a6d4
ONBOOT=yes
ADDR=192.168.56.108    // 修改为当前的IP即可DNS=255.255.255.0

这样ip配置就已完成，重启网络

service network restart

如果失败，则直接重启机器。

2.2.2 修改机器名字

修改机器名字为slave1

sudo hostnamectl -sethostname "slave1"   // 设置主机名字hostnamectl status --transient  // 查看临时主机名字hostnamectl status --static

2.2.3 将机器ip加入hosts文件

由于之前在配置master的时候就已经将slave机器对应的ip加入到host，所以不需要添加什么，只需要查看当前静态ip是否和hosts文件中的一致即可，若不一致，则修改为当前ip。
测试验证，

ssh localhost     // 第一次登录，会提示是否记录秘钥，输入yes即可，以后免密码登录exitssh slave1

以上完成slave1的配置，同样方法完成对slave2的配置。测试三台机器之间是否可以无密码ssh登录，若出现问题请查看ssh 秘钥是否加入到authorized_keys中。
hadoop集群机器我们已经全部搭建好了，入下

集群

3. hadoop集群测试

3.1 格式化master namenode 并启动测试

cd /hadoop-2.7.2
./bin/hdfs namenode -formate
./sbin/start-all.sh  // 启动 dfs 和yarn

出现下面的界面说明启动成功：

hadoop 集群启动

查看master 的jps

8034 ResourceManager
8291 Jps
7880 SecondaryNameNode

查看slave的jps

2535 NodeManager
2431 DataNode
2655 Jps

查看hadoop进程管理页面

http://master:8088  // master 改成你的master ip

出现如下页面：

hadoop进程管理页面

此时你的hadoop集群已经启动，下面我们会开始spark和scala的安装。
转载请注明出处：http://www.jianshu.com/p/e8066c14a99b

作者：kakasyw
链接：https://www.jianshu.com/p/e8066c14a99b