Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署
接上篇后续配置一.配置环境
redhat6.5
server1 172.25.29(50).1hadoop master nfs
server2 172.25.29(50).2zookeeper nfs
server3 172.25.29(50).3zookeeper nfs
server4 172.25.29(50).4zookeeper nfs
server5 172.25.29(50).5高可用备机 nfs
使用 nfs 共享同步配置文件，之前配置好java运行环境
二.Hadoopname node节点高可用配置
1.配置Zookeeper 集群，至少三台
2.在各节点启动zookeeper发现服务
3.Hadoop 配置
编辑 hdfs-site.xml 文件:
dfs.nameservices
masters
dfs.ha.namenodes.masters
h1,h2
dfs.namenode.rpc-address.masters.h1
172.25.29.1:9000
dfs.namenode.http-address.masters.h1
172.25.29.1:50070
dfs.namenode.rpc-address.masters.h2
172.25.29.5:9000
dfs.namenode.http-address.masters.h2
172.25.29.5:50070
dfs.namenode.shared.edits.dir
qjournal://172.25.29.2:8485;172.25.29.3:8485;172.25.29.4:8485/masters
dfs.journalnode.edits.dir
/tmp/journaldata
dfs.ha.automatic-failover.enabled
true
dfs.client.failover.proxy.provider.masters
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvid
er
dfs.ha.fencing.methods
sshfence
shell(/bin/true)
dfs.ha.fencing.ssh.private-key-files
/home/hadoop/.ssh/id_rsa
dfs.ha.fencing.ssh.connect-timeout
30000
4.主机之间设置免密
5.格式化之前删除tmp下的数据，以免影响后面的操作
6.在三个 DN 上依次启动 journalnode(第一次启动 hdfs 必须先启动 journalnode)
7.格式化 HDFS 集群
8.启动 hdfs 集群
9.web登陆172.25.29.1:50070
测试：关闭server1的name node进程，master切换到5上
server1 kill -9 3184
server1宕掉，server5接管
三.Hadoop yarn 的高可用
1.在hadoop/etc/hadoop下编辑 mapred-site.xml 文件
2.在hadoop/etc/hadoop下编辑 yarn-site.xml 文件
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.ha.enabled
true
yarn.resourcemanager.ha.rm-ids
rm1,rm2
yarn.resourcemanager.hostname.rm1
172.25.29.1
yarn.resourcemanager.hostname.rm2
172.25.29.5
yarn.resourcemanager.recovery.enabled
true
yarn.resourcemanager.store.class
org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
yarn.resourcemanager.zk-address
172.25.29.2:2181,172.25.29.3:2181,172.25.29.4:2181
3.启动 yarn 服务
server5 RM2 上需要手动启动
4.测试
在server1上 kill -9 3593 进程，master切换到server5上
四.Hbase 分布式部署
1.hbase 配置
指定 java 目录
指定 hadoop 目录,否则 hbase无法识别 hdfs 集群配置
2.vim hbase-site.xml
hbase.rootdir
hdfs://masters/hbase
hbase.cluster.distributed
true
hbase.zookeeper.quorum
172.25.29.2,172.25.29.3,172.25.29启动 hbase.4
dfs.replication
2
hbase.master
h1
3.启动 hbase
4.备节点手动运行
5.查看配置结果
页:
[1]