集群搭建
说明:基于centos 64
位
1.同步时间
手动同步:
yum install ntpdate
网络同步时间:
ntpdate cn.pool.ntp.org
设置时区:
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2.设置主机名
vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=node-1
3.配置IP、主机名映射
vim /etc/hosts 192.168.17.139 node-1 192.168.17.140 node-2 192.168.17.130 node-3
4.配置SSH免密登录
(1)对本机设置免密登录:
ssh node-1
选择yes
(2)生成ssh免密登录密钥:
ssh-keygen -t rsa
执行完命令会生成id_rsa
私钥和id_rsa.pub
公钥
(3)把公钥拷贝到要免密登录的目标机器上:
ssh-copy-id node-1…
5.配置防火墙
(1)查看防火墙状态:
service iptables status
(2)关闭防火墙:
service iptables stop
(3)查看防火墙开机启动状态:
chkconfig iptables --list
(4)关闭防火墙开机启动:
chkconfig iptables off
6.JDK安装
(1)下载jdk安装包:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
(2)解压安装包:
tar -zxvf jdk-8u171-linux-x64.tar.gz -C /root/apps
(3)配置环境变量:/etc/profile
export JAVA_HOME=/root/apps/jdk1.8.0_171export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
(4)刷新配置:
source /etc/profile
7.Hadoop配置
下载安装
官方网址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.6/
Linux下:
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz
(如果没有wget,则下载:yum install -y wget
)
解压文件:
tar -zxvf hadoop-2.7.6.tar.gz
配置
(1)打开文件夹下etc/hadoop/hadoop-env.sh
:
vi etc/hadoop/hadoop-env.sh
修改内容:
export JAVA_HOME=/root/apps/jdk1.8.0_171
(2)打开core-site.xml
(还是前面的目录),在<configuration>标签中加入内容:
<property> <name>fs.defaultFS</name> <value>hdfs://node-1:9000</value> tfs:// file:// gfs://</property><!-- 指定hadoop运行产生文件的存储目录 --><property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.7.6/tmp</value></property>
(3)打开hdfs-site.xml
,在<configuration>标签中加入内容:
<!-- 指定HDFS备份数量,默认是3份,这里设置2份 --><property> <name>dfs.replication</name> <value>2</value></property><property><name>dfs.namenode.secondary.http-address</name><value>node-2:50090</value></property>
(4)在当前目录复制mapred-site.xml.template为mapred-site.xml
:
mv mapred-site.xml.template mapred-site.xml
打开mapred-site.xml
,在<configuration>标签中加入内容:
<property> <name>mapreduce.framework.name</name> <value>yarn</value></property>
(5)打开yarn-site.xml
,在<configuration>标签中加入内容:
<property> <name>yarn.resourcemanager.hostname</name> <value>node-1</value></property><!-- NodeManager上运行的附属服务,需配置成mapreduce_shuffle,才可运行MapReduce程序默认值 --><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property>
(6)打开slaves
,修改文件内容为:
node-1 node-2 node-3
(7)打开/etc/profile
,配置hadoop环境变量:
export HADOOP_HOME=/root/apps/hadoop-2.7.6export PATH=$PATH:$HADOOP_HOME/sbinexport PATH=$PATH:$HADOOP_HOME/bin
(8)将前面配置的通过scp命令拷到另外两个节点当中:
scp -r /root/apps/hadoop-2.7.6/ root@node-2:/root/apps/scp -r /etc/profile root@node-2:/etc
(9)各主机更新环境变量:
source /etc/profile
说明
在Hadoop的配置文件中,有
xxx-default.xml
文件,这些文件里面配置了Hadoop默认的配置选项,如果用户没有更改,那么这里面的选项将生效同样,里面还有很多
xxx-site.xml
文件,这些里面配置了用户需要自定义配置的选项,这些文件优先级比default的要高
8.启动Hadoop
启动Hadoop集群则需要启动HDFS和YARN两个集群,且要注意第一次启动HDFS时要对其进行格式化操作:(格式化不是传统的格式化,而是对文件系统进行初始化操作,只在主节点所在的机器操作,且只能进行一次)
hdfs namenode -format
此时就会在前面设置的/home/hadoop/hadoop-2.7.6/tmp
目录下创建一个叫name的目录,内容全部存在这里
单节点逐个启动
(1)主节点启动HDFS:
hadoop-daemon.sh start namenode
(2)从节点启动HDFS:
hadoop-daemon.sh start datenode
(3)主节点启动YARN:
yarn-daemon.sh start resourcemanager
(4)从节点启动YARN:
yarn-daemon.sh start nodemanager
要停止直接比对应的start改成stop即可
脚本一键启动
如果配置了slaves和ssh免密登录,则可以通过脚本启动所有Hadoop两个集群相关的所有进程,只需在主节点的Hadoop文件夹下的sbin文件夹中执行对应文件:
全启动:start-all.sh
hdfs启动:start-dfs.sh
yarn启动:start-yarn.sh
停止有对应的stop文件,如stop-all.sh
9.基本使用
NameNode
即HDFS,在浏览器中输入:node-1:50070
即可进入portal界面
浏览文件系统
portal中查看:点击portal上面的utilities-browse the file system
命令行中:hdfs dfs -ls /
操作文件系统
创建文件夹:hdfs dfs -mkdir /文件夹名
上传文件:hdfs dfs -put /文件 /上传到哪个目录
举例:
[root@node-1 ~]# hdfs dfs -mkdir /aaa[root@node-1 ~]# hdfs dfs -put hello.c /aaa
ResourceManager
即YARN,在浏览器输入:node-1:8088
即可进入portal界面
Mapreduce
运行测试
首先进入sbin目录下启动historyserver:
mr-jobhistory-daemon.sh start historyserver
到/root/apps/hadoop-2.7.6/share/hadoop/mapreduce
目录下有:hadoop-mapreduce-examples-2.7.6.jar
程序给予测试,对于jar的提交方式如下:
hadoop jar jar包名 参数
对于上面的范例程序是用于计算圆周率的,所以输入如下进行测试:
hadoop jar hadoop-mapreduce-examples-2.7.6.jar pi 20 50
此时进入YARN的portal可以看到建立的任务
10.命令使用
Hadoop有提供专门的shell指令来使用,格式一般为:hadoop fs 参数
,举例:
[root@node-1 ~]# hadoop fs -ls hdfs://node-1:9000/
此时就能看到HDFS根目录的内容了,由于默认是hdfs://
,所以上面的也可以替换成:
[root@node-1 ~]# hadoop fs -ls /
而对于比如要查看主节点机器的目录时,就需要修改hdfs为file了,举例:
[root@node-1 ~]# hadoop fs -ls [file:///root/apps](file:///\\root\apps)
注:
前面有:hdfs dfs 参数
,这样的命令,功能和这个类似,但是使用范围有限,仅限于hdfs当中
作者:dawsonenjoy
链接:https://www.jianshu.com/p/719c9e0f5ac1
共同学习,写下你的评论
评论加载中...
作者其他优质文章