首页手记从零搭建生产Hadoop集群（一）—&md...

从零搭建生产Hadoop集群（一）——离线安装YUM源搭建

标签：

Hadoop

一、概述

Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户管理界面，支持大部分Hadoop组件，包括HDFS、YARN、Hive、 Hbase、Zookeeper、Flume、Impala等，简化了大数据平台的安装、监控和管理。

CDH官方提供了三种安装方式：

第一种方式，要求服务器能连外网，由于CDH等国外的网站容易出现超时连接错误，耗时也较长，且一旦失败重装也很麻烦。

第二种方式，使用Tarballs安装，需要下载很多包，而且需要手动操作安装和配置相关程序。

第三种方式，可实现全离线安装，而且重装十分方便，也有利于后期的集群统一包升级，因此这也是比较推荐的安装方式。

本系列主要详细介绍CDH集群的搭建步骤，而本文则主要介绍CDH软件包本地YUM源的搭建。

二、系统要求

本文基于CentOS7进行部署，Cloudera Manager版本选择5.8.1，CDH版本5.8.0。高版本的CM可以管理低版本的CDH，但是前提是minor version需要一致，否则可能出现兼容性及稳定性风险。若与笔者版本不一，安装包需根据实际下载。

三、配置步骤

1.下载Cloudera Manager相关安装包

其相关安装包的下载路径：

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.8.1/RPMS/x86_64/

注：实际最好在自己的yum仓库中将jdk-6u31包替换为所需版本，本例替换为jdk-7u67-linux-x64.rpm

2.下载CDH parcel包

根据服务器的系统版本选择对应的parcel包版本，本例使用CentOS7，对应的parcel包为el7版本，对应下载路径：

https://archive.cloudera.com/cdh5/parcels/5.8.0/

3.创建YUM仓库

1）启动httpd服务

vim /etc/httpd/conf/httpd.conf

2）安装createrepo

1.yum install createrepo

3）配置YUM源

将前面下载的CM Server、parcel安装包复制到/opt/www/html指定目录中（CM Server目录位于/opt/www/html/cloudera-manager-5.8.1，CDH目录位于/opt/www/html/cloudera-parcel-5.8.0），做成源，执行createrepo后会在该目录中生成repodata目录。

1.cd /opt/www/html

2.createrepo cloudera-manager-5.8.1