快速搭建第二个hadoop分布式集群环境

天堂1111

万事开头难，第一次搭建集群环境确实是比较难，比较苦恼。但，也不是说第二次搭建集群环境就会容易。
 
一般，第一次操作我们都会在测试环境中进行，当我们要搭建正式的环境时，是否还要像第一次那样搭建环境呢？
在搭了2^n次环境后，这里提供一种稍稍便捷一点的配置方式来搭建集群，所有的操作都在namenode上面进行！
 
192.168.3.100 h100可以认为是测试环境的namenode。
将来搭建的环境包括3台机器，已经全部安装好redhat的操作系统：
192.168.80.81 h81 #namenode
192.168.80.82 h82 #datanode1
192.168.80.83 h83 #datanode2
 
使用SecureCRT工具，root用户登录到namenode。步骤参考，有些步骤需要输入密码，不能一次性全部执行。
 

## 生成root用户的密钥对
ssh-keygen
## 建立到100机器的无密钥登录
ssh-copy-id -i .ssh/id_rsa.pub hadoop@192.168.3.100
## 拷贝JDK，将加入hadoop用户的环境变量
mkdir -p /opt/java
scp -r hadoop@192.168.3.100:/opt/java/jdk1.6.0_29 /opt/java
## 把集群的IP和机器名对应加入hosts文件
vi /etc/hosts
# 192.168.80.81 h81
# 192.168.80.82 h82
# 192.168.80.83 h83
## 定义常量
namenode='h81'
hosts=`cat /etc/hosts | grep 192.168 | awk '{print $2}'`
## 修改时间
DATE='2013-03-01'
TIME='10:30:00'
for host in $hosts
do
ssh $host date -s $DATE
ssh $host date -s $TIME
done
## 建立namenode到datanodes的无密钥访问，这里需要输入对应datanode的root用户的密码
for host in $hosts
do
ssh-copy-id -i .ssh/id_rsa.pub $host
done
####
for host in $hosts
do
## 在集群所有节点上创建hadoop用户，会提示很多次输入密码。可以通过修改/etc/shadow替换密码输入的步骤
ssh $host useradd hadoop
ssh $host passwd hadoop
## 拷贝jdk到datanodes
if [ $host != $namenode ]
then
scp /etc/hosts $host:/etc/hosts
ssh $host mkdir -p /opt/java
scp -r /opt/java/jdk1.6.0_29 $host:/opt/java 2>&1 > jdk.scp.$host.log &
fi
## 修改集群的hostname主机名称
ssh $host hostname $host
ssh $host cat /etc/sysconfig/network | sed s/localhost.localdomain/$host/g > /tmp/network && cat /tmp/network > /etc/sysconfig/network
## 创建数据目录，并把权限分配给hadoop
ssh $host mkdir /opt/cloud
ssh $host chown hadoop /opt/cloud
done
## ！切换到hadoop用户
su - hadoop
## 生成hadoop用户的密钥对
ssh-keygen
## 在hadoop用户的终端定义变量（root的终端变量获取不到的）
namenode='h81'
hosts=`cat /etc/hosts | grep 192.168 | awk '{print $2}'`
## 使namenode的hadoop用户无密钥登录到集群各个机器
for host in $hosts
do
ssh-copy-id -i .ssh/id_rsa.pub $host
done
## 更新hadoop用户的环境变量，
vi .bashrc
# export JAVA_HOME=/opt/java/jdk1.6.0_29
# PATH=$JAVA_HOME/bin:/usr/sbin:$PATH
# export PATH
## 修改datanodes的环境环境变量，同时为集群创建必要的目录
for host in $hosts
do
if [ $host != $namenode ]
then
scp .bashrc $host:~/.bashrc
fi
ssh $host source .bashrc
ssh $host mkdir -p /home/hadoop/cloud/zookeeper
ssh $host mkdir -p /home/hadoop/pids/katta/pids
ssh $host mkdir -p /home/hadoop/pids/hadoop/pids
done
## 建立namenode下的hadoop用户到192.168.3.100的无密钥访问
ssh-copy-id -i .ssh/id_rsa.pub 192.168.3.100
## 从100上拷贝集群程序
rsync -vaz --delete  --exclude=logs --exclude=log  192.168.3.100:~/lucene ~/
rsync -vaz --delete  --exclude=logs --exclude=log  192.168.3.100:~/sqoop-1.4.1 ~/
rsync -vaz --delete  --exclude=logs --exclude=log  192.168.3.100:~/zookeeper-3.3.5 ~/
rsync -vaz --delete  --exclude=logs --exclude=log  192.168.3.100:~/hadoop-1.0.0 ~/
rsync -vaz --delete  --exclude=logs --exclude=log  192.168.3.100:~/hbase-0.92.1 ~/
rsync -vaz --delete  --exclude=logs --exclude=log  192.168.3.100:~/katta-core-0.6.4 ~/
rsync -vaz --delete  --exclude=logs --exclude=log  192.168.3.100:~/lucene-shared-lib ~/
## 查找配置文件中与测试环境有关的信息
[hadoop@h81 ~]$ find */conf | while read conf; do if grep -E 'h100|192.168.3.100' $conf > /dev/null; then echo $conf;fi;done
hadoop-1.0.0/conf/mapred-site.xml
hadoop-1.0.0/conf/core-site.xml
hadoop-1.0.0/conf/masters
hbase-0.92.1/conf/hbase-site.xml
katta-core-0.6.4/conf/katta.zk.properties
katta-core-0.6.4/conf/masters
lucene/conf/config-env.sh
[hadoop@h81 ~]$
## 替换为新的nameode的hostname
find */conf | while read conf; do if grep -E 'h100|192.168.3.100' $conf > /dev/null; then  cat $conf | sed s/h100/h81/g > /tmp/conf && cat /tmp/conf > $conf ;fi;done
## 修改其他配置
vi hadoop-1.0.0/conf/slaves
vi hbase-0.92.1/conf/regionservers
vi katta-core-0.6.4/conf/nodes
## 确认是否还有原有集群的余孽！
find */conf | while read conf; do if grep -E 'h10' $conf > /dev/null; then echo $conf;fi;done
## 拷贝集群程序到datanodes
for host in $hosts
do
if [ $host != $namenode ]
then
rsync -vaz --delete  --exclude=logs --exclude=log  ~/hadoop-1.0.0 $host:~/ &
rsync -vaz --delete  --exclude=logs --exclude=log  ~/hbase-0.92.1 $host:~/ &
rsync -vaz --delete  --exclude=logs --exclude=log  ~/katta-core-0.6.4 $host:~/ &
rsync -vaz --delete  --exclude=logs --exclude=log  ~/lucene-shared-lib $host:~/ &
fi
done
 
在批处理文件内容替换时，使用到了临时文件，当然也可以先把文件备份后，再写入新文件中：
 

ssh $host \
mv /etc/sysconfig/network /etc/sysconfig/network.back && \
cat /etc/sysconfig/network.back | sed s/localhost.localdomain/$host/g > /etc/sysconfig/network
 
但，先备份再写入新文件 有个缺陷就是原始文件的权限会丢失！
 
最后你懂的：
 

hadoop-1.0.0/bin/hadoop namenode -format
hadoop-1.0.0/bin/start-all.sh
 
通过for，scp， ssh， sed， awk，rsync，vi， find，ssh-copy-id， mkdir等命令仅在namenode上完成集群的部署工作。
 
 
------新增节点，又不想修改配置文件！可以用下面的方法启动新节点：
　　[hadoop@h101 ~]$ hadoop-1.0.0/bin/hadoop-daemon.sh start datanode 
　　starting datanode, logging to /home/hadoop/hadoop-1.0.0/libexec/../logs/hadoop-hadoop-datanode-h101.out
　　[hadoop@h101 ~]$ hadoop-1.0.0/bin/hadoop-daemon.sh start tasktracker
　　starting tasktracker, logging to /home/hadoop/hadoop-1.0.0/libexec/../logs/hadoop-hadoop-tasktracker-h101.out
　　[hadoop@h101 ~]$ 
　　-------
　　如果你举得sed修改麻烦，要备份，在写回！其实有sed -i（--in-place）参数提供了直接写入的功能。