51qsx 发表于 2016-12-10 07:59:30

Hadoop的Namenode的容灾处理

  Hadoop的namenode是关键节点,虽然业务尽量单一,减少出错几率,但是程序都有出错的可能,所以还是需要有效的办法来解决,如下是权威指南里面介绍的两种方法:
  1、备份那些组成文件系统元数据持久状态的文件。hadoop可以通过配置使namenode在多个文件系统上保存元数据的持久状态。这些写操作是实时同步的,是原子操作。一般的配置是:将持久状态写入本地磁盘的同时,写入一个远程挂载的网络文件系统NFS
  2、运行一个辅助的namenode,但它不能被用作namenode。这个辅助的namenode的重要作用是定期通过编辑日志合并命名空间镜像,以防止编辑日志过大。这个辅助namenode一般在另一台单独的物理计算机上运行,因为它需要占用大量CPU时间与namenode相同容量的内存来执行合并操作。它会保存合并后的命名空间镜像的副本,并在namenode发生故障时启用。辅助namenode保存的状态总是滞后于主节点,所以在主节点全部失效时,难免会丢失部分数据,在这种情况下,一般把存在在NFS上的namenode元数据复制到辅助namenode并作为新的主namenode运行。




需要逐个试验一下,看哪种比较合适


-------------------------------------------------------------------------------------------------------------------
 
作者:CNZQS|JesseZhang  个人博客:CNZQS(http://www.cnzqs.com)
版权声明:除非注明,文章均为原创,可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本声明 
--------------------------------------------------------------------------------------------------------------------
页: [1]
查看完整版本: Hadoop的Namenode的容灾处理