hadoop多硬盘配置注意点
[一]、实验环境1.1、环境
[*]hadoop 2.6.0
[*]namenode 2个各增加 2个1T硬盘
[*]datanode 3个各增加3个1T硬盘
1.2、挂载硬盘
[*]fdisk 分区 (输入m—n—p—1–回车—回车—p—w)
[*]mkfs 格式化硬盘 ( mkfs.ext4 )
[*]mount挂载硬盘 (以挂载目录为 /bigdata/data0/bigdata/data1 …. /bigdata/dataN 为例)
[*]开机挂载vi /etc/fstab : Shell 123/dev/sda1 /bigdata/data0 ext4 defaults 0 0/dev/sdb1 /bigdata/data1 ext4 defaults 0 0/dev/sdc1 /bigdata/data2 ext4 defaults 0 0
命令不会使用的可以查阅相关文档，只要注意配置挂载的新目录赋予hadoop用户的读写权限。
[二]、修改hadoop配置
2.1、修改 $HADOOP_HOME/hdfs-site.xml:
XHTML 123456789<!-- 多个目录逗号,分割，不能有空格 千万注意 --><property> <name>dfs.namenode.name.dir</name> <value>/bigdata/data0/dfs/name,/bigdata/data1/dfs/name</value></property><property> <name>dfs.datanode.data.dir</name> <value>/bigdata/data0/dfs/data,/bigdata/data1/dfs/data,/bigdata/data2/dfs/data</value></property> 2.2、修改 $HADOOP_HOME/mapred-site.xml:
XHTML 1234<property> <name>mapreduce.cluster.local.dir</name> <value>/bigdata/data0/mapred/local,/bigdata/data1/mapred/local,/bigdata/data2/mapred/local</value></property> —————–EOF @Michael Sun —————–
http://www.micmiu.com/bigdata/hadoop/hadoop-many-disk-config/ 进来回复拿金币6666666666666
页:
[1]