hadoop及hbase集群增加节点
一、hadoop扩容1、配置各节点hosts文件，加入新加入的两个节点的IP和主机名
新添加的节点添加下面内容
192.168.11.131 master1
192.168.11.132 master2
192.168.11.133 slave1
192.168.11.134 slave2
192.168.11.135 slave3
新节点互相加入对方的主机名解析
老的节点添加下面内容
192.168.11.136 slave4
192.168.11.137 slave5
2、准备工作
参照之前的博客生产环境下hadoop HA集群及Hbase HA集群配置 为新添加的节点做以下操作：
配置主机名
关闭防火墙和selinux
配置yum源
配置时间同步（作为ntp服务客户端）
创建组和用户
创建目录
无密码登陆
配置java环境
3、修改hadoop配置文件并拷贝hadoop文件
登录master1节点
$ cd /data1/usr/hadoop-2.7.3/etc/hadoop
$ vi slaves
添加新加入的节点信息
slave4
slave5
$ for ip in 2 3 4 5;do scp /data1/usr/hadoop-2.7.3/etc/hadoop/slaves 192.168.11.13$ip:/data1/usr/hadoop-2.7.3/etc/hadoop/;done
拷贝hadoop文件到新节点
$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave4:/data1/usr
$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave5:/data1/usr
4、清空日志
登录到新添加的服务器
$ cd /data1/usr/hadoop-2.7.3/logs
$ rm *.log.*
$ rm *.out.*
$ for i in `find . -name "*.log" -o -name "*.out"`;do cat /dev/null >$i;done
删除其他项目和文件
对比datanode老的节点，把/data1/usr/hadoop-2.7.3下多余的文件和目录删除。
5、启动服务
分别登陆新节点，启动datanode
$ cd /data1/usr/hadoop-2.7.3/sbin
$ ./hadoop-daemon.sh start datanode
登陆master1节点，刷新datanode列表
$ cd /data1/usr/hadoop-2.7.3/bin
$ ./hdfs dfsadmin -refreshNodes
查看列表信息
$ ./hdfs dfsadmin -report
8、对hdfs负载均衡
$ cd /data1/usr/hadoop-2.7.3/sbin
$ ./start-balancer.sh
如果你的集群有单独的balance节点，带宽又足够大的话，可以考虑做balance优化，因为按照默认配置的话，balance的过程会持续很长一段时间。具体的优化方法可以参考我转载的另一篇博客：优化Hadoop Balancer平衡的速度。
启动yarn
$ cd /data1/usr/hadoop-2.7.3/sbin
$ ./yarn-daemon.sh start nodemanager
查看集群情况
$ cd /data1/usr/hadoop-2.7.3/bin
$ yarn rmadmin -refreshNodes
$ ./yarn node -list
9、如有添加journalnode节点的需要还需要添加journalnode服务，不过本次变更没有添加，添加步骤如下
修改JournalNode地址，必须保证奇数个
vim /data1/usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
dfs.namenode.shared.edits.dir
qjournal://slave1:8485;slave2:8485;slave3:8485;slave4:8485;slave5:8485/mycluster
二、hbase扩容
1、登陆master1，修改配置文件
$ cd /data1/usr/hbase-1.2.4/conf
$ vi regionservers
添加新节点主机
slave4
slave5
$ for ip in 2 3 4 5;do scp /data1/usr/hbase-1.2.4/conf/regionservers 192.168.11.13$ip:/data1/usr/hbase-1.2.4/etc/hadoop/;done
登陆新节点，创建目录，修改权限
2、拷贝hbase文件到新节点
登陆master1节点
$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.136:/data
$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.137:/data
清理日志
$ cd /data1/usr/hbase-1.2.4/logs
$ rm *.out.*
$ >hbase-hduser-master-master1.log
$ >hbase-hduser-master-master1.out
3、登陆新节点，启动服务
$ cd /data1/usr/hbase-1.2.4/bin
$ ./hbase-daemon.sh start regionserver
$ ./hbase shell
status
页:
[1]