Hadoop生产环境中扩容DataNode节点的过程梳理

在线上环境，经常需要根据业务发展对HDFS进行扩容，比如我们要添加一个新DataNode节点到集群中

        新节点主机名：node4.360.cn IP地址：192.168.184.9

        节点上运行进程：datanode、nodemanager

步骤如下：

1、node4.360.cn节点做以下配置

        (1)、配置/etc/hosts文件，添加node4.360.cn(集群所有节点最好全部添加，并保持一致)

        (2)、初始化本地节点的HDFS存储磁盘，这里假定我用到两块磁盘(具体情况自己设定)

                新节点node4.360.cn上添加2块磁盘并分别挂载到/data01、/data02

                        mkdir  /data01/block

                        mkdir  /data02/block

                        chown  -R  hdfs.hdfs  /data01/block

                        chown  -R  hdfs.hdfs  /data02/block

        (3)、从NameNode节点拷贝配置文件目录下所有文件到node4.360.cn

                scp  /opt/hdfs/etc/hadoop/*   hdfs@node4.360.cn:/opt/hdfs/etc/hadoop/

        (4)、hdfs-site.xml文件中的配置项修改

                dfs.data.dir 值为：/data01/block/data,/data02/block/data

2、NameNode节点配置

        (1)、hdfs-site.xml配置项dfs.hosts文件添加新节点主机

                dfs.hosts 文件路径：/opt/hdfs/etc/hadoop/whitehosts

                追加内容：node4.360.cn

        (2)、slaves文件添加新节点主机

                vim  /opt/hdfs/etc/hadoop/slaves

                追加内容：node4.360.cn，然后分发给其他所有主机（实际只需namenode节点保持更新即可，但为使得所有节点保持一致，还是分发给所有节点）

        (3)、刷新节点(NameNode节点执行)

                执行命令：hdfs  dfsadmin  -refreshNodes     # 刷新完通过50070Web界面可以看到新DataNode

                执行命令：yarn  rmadmin  -refreshNodes      # 刷新完通过8088Web界面可以看到新NodeManager

(4)、在node4.360.cn上执行启动命令：

                hadoop-daemon.sh  start  datanode

                yarn-daemon.sh  start nodemanager

(5)、验证node4.360.cn是否正常加入集群

                打开namenode的50070在浏览器查看，看是否新节点加入集群

                打开resourcemanager的8088在浏览器查看，看是否新节点加入集群

················································································································

欢迎关注课程：
企业级开源四层负载均衡解决方案--LVS