首页手记我就是这样安装大数据CDH的_____欢乐的马小纪&a...

我就是这样安装大数据CDH的_____欢乐的马小纪&

标签：

Java

最近工作比较清闲

整理一套CDH的安装集锦

欢迎大家共同学习交流

一：基础配置
1、网络配置
vi /etc/sysconfig/network-scripts/ifcfg-eth0
vi /etc/hosts

– 2、SSH免密钥登录
ssh-keygen big1
ssh-copy-id big1

– 3、防火墙关闭
service iptables stop
chkconfig iptables off

– 4、SELINUX关闭
setenforce 0
vi /etc/selinux/config (SELINUX=disabled)

5、安装JDK配置环境变量
/usr/java

– 6、安装NTP
yum install ntp -y
• 设置开机启动
chkconfig ntpd on
• 设置时间同步
ntpdate -u ntp.sjtu.edu.cn

– 7、centos6 安装配置mysql
sudo yum install mysql-server
sudo /sbin/chkconfig --levels 235 mysqld on
sudo service mysqld start
sudo mysql_secure_installation

登录mysql
mysql -uroot -p123456
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
flush privileges;

– 8、下载第三方依赖包
yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y

CM安装
– 1、安装Cloudera Manager Server、Agent
mkdir /opt/cloudera-manager
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

在这里把mysql-connector-java.jar放到cmf的lib里面去
cp /usr/java/jdk1.7.0_80/lib/mysql-connector-java-5.1.0-bin.jar /opt/cloudera-manager/cm-5.1.3/share/cmf/lib

– 2、创建用户cloudera-scm
useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-scm-server --
no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
– 3、配置CM Agent
• 修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中
server_host以及server_port

4、配置CM Server数据库
• 拷贝mysql jar文件到目录 /usr/share/java/
• 注意jar包名称要修改为mysql-connector-java.jar

初始化数据库
/opt/cloudera-manager/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm
• 格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器
drop user 'temp'@'%';（这一步可以不做）

– 5、创建Parcel目录
• Server节点
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
• Agent节点
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

– 6、制作CDH本地源
• 下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json，将这两个文件放到server节点的
/opt/cloudera/parcel-repo下。
• 打开manifest.json文件，里面是json格式的配置，找到与下载版本相对应的hash码，新建文件，文件名与你的

parel包名一致，并加上.sha后缀，将hash码复制到文件中保存。

解决虚拟内存的问题

echo 0 > /proc/sys/vm/swappiness

7、启动CM Server、Agent
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start
– Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装
./cloudera-scm-agent start