Hadoop 12节点集群搭建配置清单
$ vim hdfs-site.xml #【指定DataNode存储block的副本数量。默认值是3个，我们现在有4个DataNode，该值不大于4即可。】dfs.replication
3
#【使用federation时，HDFS集群别名。名字可以随便起，多个集群时相互不重复即可】
dfs.nameservices
myha
#【指定该集群的namenode的机器】
dfs.ha.namenodes.myha
hadoop001,hadoop007
#【指定hadoop100的RPC地址】
dfs.namenode.rpc-address.myha.hadoop001
hadoop001:9000
#【指定hadoop100的http地址】
dfs.namenode.http-address.cluster1.hadoop001
hadoop001:50070
#【指定hadoop101的RPC地址】
dfs.namenode.rpc-address.myha.hadoop101
hadoop101:9000
#【指定hadoop101的http地址】
dfs.namenode.http-address.myha.hadoop101
hadoop101:50070
#【指定该集群的两个NameNode共享edits文件目录时，使用的JournalNode集群信息】
dfs.namenode.shared.edits.dir
qjournal://hadoop002:8485;hadoop003:8485;hadoop008:8485/myha
#【指定该集群是否启动自动故障恢复，即当NameNode出故障时，是否自动切换到另一台NameNode】
dfs.ha.automatic-failover.enabled.myha
true
#【指定该集群出故障时，哪个实现类负责执行故障切换】
dfs.client.failover.proxy.provider.myha
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
#【一旦需要NameNode切换，使用ssh方式进行操作】
dfs.ha.fencing.methods
sshfence
#【如果使用ssh进行故障切换，使用ssh通信时用的密钥存储的位置】
dfs.ha.fencing.ssh.private-key-files
file:///root/.ssh/id_rsa
#【connect-timeout连接超时】
dfs.ha.fencing.ssh.connect-timeout
30000
dfs.namenode.name.dir
file:///home/hadoop/tmp/dfs/name
#【设置】
dfs.datanode.data.dir
file:///home/hadoop/tmp/dfs/data
页:
[1]