设为首页 收藏本站

运维网

查看: 609|回复: 0

[经验分享] HADOOP的HA搭建

[复制链接]

尚未签到

发表于 2018-10-29 12:41:52 | 显示全部楼层 |阅读模式
  进入到执行:/soft/hadoop-2.7.1/etc/hadoop_cluster$ gedit hdfs-site.xml
  [配置部分]
  [hdfs-site.xml]
  1.配置名称服务:dfs.nameservices
  名称服务的逻辑名。
  
  dfs.nameservices
  mycluster
  
  2.配置nameservice中每个namenode

  dfs.ha.namenodes.[nameservice>  
  dfs.ha.namenodes.mycluster
  nn1,nn2
  
  注意:目前的hadoop2.7.2最多只能配置2个namenode。
  3.配置每个namede的rpc地址
  
  dfs.namenode.rpc-address.mycluster.nn1
  s1:8020
  
  
  dfs.namenode.rpc-address.mycluster.nn2
  s8:8020
  
  4.配置每个namenode的webui地址
  
  dfs.namenode.http-address.mycluster.nn1
  machine1.example.com:50070
  
  
  dfs.namenode.http-address.mycluster.nn2
  machine2.example.com:50070
  
  5.配置namenode的共享edit log目录
  
  dfs.namenode.shared.edits.dir
  qjournal://s1:8485;s7:8485;s8:8485/mycluster
  
  6.配置客户端容灾代理供应商类
  供客户端用来检测那个是namenode是活页节点。
  
  dfs.client.failover.proxy.provider.mycluster
  org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
  
  7.(可选的)配置HA防护方法名集合.
  QJM防止脑裂发生,不存在两个active node。
  可以配置sshfence或者shell脚本。
  8.配置hdfs的文件系统
  [core-site.xml]
  
  fs.defaultFS
  hdfs://mycluster
  
  9.配置JN的本地存放数据(edit log)的目录
  
  dfs.journalnode.edits.dir
  /home/ubuntu/hadoop/journal
  
  2、把core-site.xml文件的客户机名改成如下再颁发给每个虚拟机:
  fs.defaultFS
  hdfs://mycluster
  3、然后回到hdfs-site.xml里面把
  fs.defaultFS
  hdfs://mycluster
  删掉。同样颁发给每个虚拟机
  4、接下来启动jn进程即:hadoop-daemon.sh starat journalnode
  (我是在s1、s7和s8上分别启动journalnode进程。我一共八台虚拟机)
  5、将s1的hadoop目录下的 dfs拷贝到s8中。即执行:scp -r dfs ubuntu@s8:/home/ubuntu/hadoop
  6、在开启一个namenode节点的情况下,登录:ssh s8的虚拟机上执行hdfs namenode -bootstrapStandby
  7、再停止namenode节点,然后 在s1虚拟机上执行:hdfs namenode -initializeSharedEdits
  8、分别在s1和s8上启动namenode即:执行hadoop-daemno.sh start namenode
  9、最后启动所有的数据节点:hadoop-daemons.sh start datanode (hadoop-daemons.sh是启动所有的节点)
  管理ha过程
  1、手动完成状态切换:
  hdfs haadmin -transitionToActive nn1
  hdfs haadmin -transitionToStandbby nn1


运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@yunvn.com 网址:www.iyunv.com

点击关注更多内容
您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:kefu@yunvn.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright © 2012-2020

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up !


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!


独家合作伙伴: 青云cloud

快速回复 返回顶部 返回列表