hadoop安全分布式处理

使用root登录，


添加组groupadd hdgroup


添加用户useradd -g hdgroup hduser


设置密码 passwd hduser


chmod 777 /etc/sudoers


gedit /etc/sudoers


在 root    ALL=(ALL) ALL后加一行


   hduser ALL=(ALL) ALL


chmod 440 /etc/sudoers


 


关闭当次登录防火墙 service iptables stop


关闭重启后防火墙   chkconfig iptables off


 


重启该虚拟机系统 使用hduser登录


安装jdk


sudo rpm -ivh jdk-7u67-linux-x64.rpm


一般在/usr/java/jdk1.7.0_67这个路径下


修改配置文件 sudo gedit /etc/profile


加入找到 后保存


export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL


export JAVA_HOME=/usr/java/jdk1.7.0_67


export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH


export PATH=$JAVA_HOME/bin:$PATH


#hadoop


export HADOOP_HOME=/home/hduser/hadoop    


export PATH=$HADOOP_HOME/bin:$PATH


source /etc/profile 生效


测试 java -version


 


   14  cd ~


   15  tar -zxvf hadoop-2.6.0.tar.gz


   16  mv hadoop-2.6.0 hadoop


   17  sudo gedit /etc/profile


 


   18  source /etc/profile


 


另外再克隆两台节点node


更改主机名：


sudo gedit /etc/sysconfig/network


分别更改


NETWORKING=yes


HOSTNAME=node1


 


在root登录模式下，如果不是使用su - root 切换到root模式


关闭当次登录防火墙 service iptables stop


关闭重启后防火墙   chkconfig iptables off


 


 


重启三台节点


主机名解析


打开配置文件 sudo gedit /etc/hosts


例如


192.168.37.131 node1


192.168.37.132 node2


192.168.37.133 node3


免密码登录其他电脑    


在node1服务器主机中生成公/私钥对     
ssh-keygen -t rsa -P ""


将node1服务器主机中的钥匙发给其他slave从机


ssh-copy-id   localhost


   


ssh-copy-id   node1                                                          


ssh-copy-id   node2


ssh-copy-id   node3


 


注意ssh远程登录到那个主机，环境和权限是那个主机的环境并非本机的环境，也并非本机的权限，可以使用exit退出。并关闭当前的命令窗口重新开启一个命令窗口


 


拷贝配置文件


   19  


scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node2:/home/hduser/hadoop/etc/


   20  


scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node3:/home/hduser/hadoop/etc/


   21  cd ~/hadoop     换位置


   28  bin/hdfs namenode -format   格式化一下


   32  cd ~/hadoop


   33  sbin/start-dfs.sh


   34  jps


 


http://node1:50070/


 


   35  sbin/start-yarn.sh


   36  jps


   37  bin/hdfs dfsadmin -report


 


http://node1:8088/cluster/nodes


 


   43  history

原文出处