dinggela 发表于 2018-10-29 08:28:33

hadoop cluster decommission node (下线节点,超级实用)

  一、描述
  为了节约成本,避免资源浪费,下线集群中的一个节点,也就是把一台云主机回收喽。
  centos 6.6_64bit
  hadoop 2.6.0
  二、操作步骤(动态下线)
  下线节点主机名如下,在hadoop用户下操作,配置文件都在conf目录下
  host-10-10-10-10   ##一看就在云上是不是
  1.在conf目录下创建文件
  touch excludes
  echo "host-10-10-10-10" > exclude
  less exclude   ##要有验证
  2.修改配置文件hdfs-site.conf
  vi hdfs-site.xml
  添加如下内容,路径根据自己的实际情况
  
  dfs.hosts.exclude
  /usr/local/RoilandGroup/hadoop-2.6.0/etc/hadoop/excludes
  
  3.修改配置文件 yarn-site.conf
  添加如下内容,路径根据自己的实际情况
  
  yarn.resourcemanager.nodes.exclude-path
  /usr/local/RoilandGroup/hadoop-2.6.0/etc/hadoop/excludes
  
  4.刷新hdfs节点(namenode active操作)
  hdfs dfsadmin -refreshNodes
  hdfs dfsadmin -report   ##观察节点是否decommission
  5.刷新nodemanager节点(resourcemanager active操作)
  yarn rmadmin -refreshNodes
  6.修改slave文件
  注释掉主机名
  #host-10-10-10-10
  7.同步exclude文件和slave文件
  scp exclude 到namenode/resourcemanager 的 standby节点
  8.再次验证,确保是我们想要的结果,通知运维同事可以回收云主机。
  三、注意事项
  1.生产环境操作之前一定要做好测试
  2.查看官方文档,要知道自己修改的文件对系统有多大影响,做到心里有数。

页: [1]
查看完整版本: hadoop cluster decommission node (下线节点,超级实用)