centos6.5下搭建cdh5.9.1-hadoop集群（完全离线安装）
说明：本次试验是在公司内网段采用完全离线的方式进行搭建。在安装之前，请安装好四台centos6.5。安装环境(hadoop1为主节点)：
安装步骤：
一、文件下载
Cloudera Manager：cloudera-manager-el6-cm5.9.1_x86_64.tar.gz
CDH安装包：CDH-5.9.1-1.cdh5.9.1.p0.4-el6.parcel、CDH-5.9.1-1.cdh5.9.1.p0.4-el6.parcel.sha、manifest.json
JDBC连mysql驱动：mysql-connector-java-5.1.40-bin.jar
一共5个文件
(这里注意下，将.sha1文件后缀更改为.sha)
强烈建议：有条件的话，以下所有操作都在root下完成
二、准备工作：系统环境搭建
1.网络配置(所有节点)
修改主机名：vim /etc/sysconfig/network
修改ip与主机名的对应关系：vim /etc/hosts
133.21.254.147hadoop1
133.21.254.159hadoop2
133.21.254.160hadoop3
133.21.254.162hadoop4
修改网络配置,设置静态ip，以及指定ip地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0
关闭SELinux：vi /etc/selinux/config
修改SELinux=disabled
关闭防火墙
sudo service iptables stop
sudo chkconfig iptables off
sudo chkconfig iptables --list
重启主机：
reboot
2.打通SSH，设置ssh无密码登陆（所有节点）
master节点执行：
cd ~/.ssh # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa* # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa # 一直按回车就可以
cat ./id_rsa.pub >> ./authorized_keys
chmod 600 ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys root@Slave1:~/.ssh/
3.安装Oracle的Java（所有节点）
rpm -qa | grep java
使用rpm -e 包名卸载
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm -e --nodeps tzdata-java-2013g-1.el6.noarch
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
上传新的jdk-8u121-linux-x64.rpm软件到/usr/local/
cd /usr/local
rpm -ivh jdk-8u121-linux-x64.rpm
vi /etc/profile
#java
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH=$JAVA_HOME/bin:$PATH
export> source /etc/profile
4.安装配置MySql（主节点）
参考：http://www.iyunv.com/Linux/2015-01/111413.htm
rpm -qa | grep -i mysql
卸载：rpm -e --nodeps 包名
上传mysql文件夹到CentOS中解压
tar xvf MySQL-5.6.36-1.el6.x86_64.rpm-bundle.tar
rpm -i MySQL-shared-compat-5.6.36-1.el6.x86_64.rpm
rpm -qa | grep -i mysql
yum remove mysql-libs
rpm -ivhMySQL-server-5.6.21-1.el6.i686.rpm
rpm -ivhMySQL-client-5.6.21-1.el6.i686.rpm
more /root/.mysql_secret #获得root随机密码
service mysql start
/usr/bin/mysql_secure_installation #一路yes
chkconfig mysql on
chkconfig
进入mysql命令行，创建以下数据库：
mysql -u root -p123456
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges on *.* to 'root'@'%'> flush privileges;
5.所有节点配置NTP服务（所有节点）
service ntpd start
chkconfig ntpd on
检查是否设置成功：chkconfig --list ntpd其中2-5为on状态就代表成功
主节点配置（master节点）
vi /etc/ntp.conf
修改配置文件如下：
driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict 133.21.254.1/24 mask 255.255.255.0 nomodify
restrict -6 ::1
includefile /etc/ntp/crypto/pw
server127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
keys /etc/ntp/keys
重启ntp服务：service ntpd restart
检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：
synchronisedto
NTP server () at
stratum 2time
correct towithin74
mspolling server every 128
s
其他所有节点配置（所有节点执行）：
vi /etc/ntp.conf
修改配置文件如下：
driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict -6 ::1
server 133.21.254.147
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
手动同步：ntpdate -u hadoop1
重启ntp服务：service ntpd restart
检查是否成功，用ntpstat命令查看同步状态
三、开始安装Cloudera Manager
主节点解压安装：
拷贝cloudera-manager-el6-cm5.9.1_x86_64.tar.gz， 放到/opt中
tar xzvf cloudera-manager-el6-cm5.9.1_x86_64.tar.gz
拷贝mysql-connector-java-5.1.40-bin.jar，放到/opt/cm-5.9.1/share/cmf/lib/中
在主节点初始化CM5的数据库：
/opt/cm-5.9.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop1 -uroot -p123456 --scm-host hadoop1 scm scm scm
修改/opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名
准备Parcels，用以安装CDH5 ：
将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo需要手动创建）。 相关的文件如下：
CDH-5.9.1-1.cdh5.9.1.p0.4-el6.parcel
CDH-5.9.1-1.cdh5.9.1.p0.4-el6.parcel.sha
manifest.json
启动相关脚本：
/opt/cm-5.9.1/etc/init.d/cloudera-scm-server start（主节点执行）
/opt/cm-5.9.1/etc/init.d/cloudera-scm-agent start（所有节点执行）
安装到此处，可以考虑备份节点，为将来的节点拓展做准备。
四、CDH5的安装配和集群配置
http://133.21.254.147:7180
安装hive服务之前：
拷贝mysql-connector-java-5.1.40-bin.jar，到/opt/cloudera/parcels/CDH-5.9.1-1.cdh5.9.1.p0.4/jars/中
ln -s /opt/cloudera/parcels/CDH-5.9.1-1.cdh5.9.1.p0.4/jars/mysql-connector-java-5.1.40-bin.jar /opt/cloudera/parcels/CDH-5.9.1-1.cdh5.9.1.p0.4/lib/hive/lib/mysql-connector-java-5.1.40-bin.jar
ln -s /opt/cloudera/parcels/CDH-5.9.1-1.cdh5.9.1.p0.4/jars/mysql-connector-java-5.1.40-bin.jar /opt/cloudera/parcels/CDH-5.9.1-1.cdh5.9.1.p0.4/lib/oozie/lib/mysql-connector-java-5.1.40-bin.jar
安装oozie之前：
ln -s /opt/cloudera/parcels/CDH-5.9.1-1.cdh5.9.1.p0.4/jars/mysql-connector-java-5.1.40-bin.jar /var/lib/oozie/mysql-connector-java-5.1.40-bin.jar
然后按照http://133.21.254.147:7180页面提示进行集群的配置（这里要注意各个hadoop组件对应的数据库的选择，这里有坑，请注意！）。
至此，集群配置完成。
页:
[1]