hadoop 2.3 集群总结

linghaiyan

　　用了近两个礼拜的摸索终于搭建好了hadoop集群，测试性能也符合预期。
　　centos6.4下hadoop2.3集群总结如下：
　　关于环境的设置：
　　1.关闭selinux （反复折腾了好多次）
　　vi /etc/selinux/config

SELINUX=disabled
　　2.关闭防火墙

service iptables status
service ip6tables status
service iptables stop
service ip6tables stop
chkconfig iptables off
chkconfig ip6tables off
　　3.对ssh打开免密码登陆设置
　　vi /etc/ssh/sshd_config

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys
　　4.设置jdk环境变量

export JAVA_HOME=/usr/local/jdk1.7.0_51
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
update-alternatives --install /usr/bin/java java /usr/local/jdk1.7.0_51/bin/java 60
update-alternatives --config java
　　关于经常遇到的问题:

•    etc/hadoop/hdfs-site.xml 文件中dfs.replication每个节点都需要保持一致
  

　　            针对小规模的集群设置为1其实就可以了 执行效率还提高了，没必要是用2份或者3份，反而影响性能

•      namenode 最好与datanode分开
  

　　            因为它是起到管理节点的作用，头节点效率低了，直接影响整个hadoop运行速度以及稳定性

•     hadoop2.3 对默认的机器硬件要求为4核和8g
  

　　           所以在机器性能没有问题的情况下，最好使用默认值，强制使用2核或者1核反而达不到预期效果

•     hadoop 中针对集群方式，其实所有节点配置都是一样的，增加或减少节点只需要对etc/hadoop/slaves进行配置就可以了。其他的事情hadoop自己来做。
  

　　    hadoop常用命令如下：

./bin/hdfs dfsadmin -report
./bin/hadoop namenode -format
./bin/hdfs dfs -mkdir -p /export/home/hadoop  
./bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar randomwriter /export/home/hadoop/input
./sbin/start-dfs.sh &&  ./sbin/start-yarn.sh
./sbin/stop-yarn.sh && ./sbin/stop-dfs.sh
　　./bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar randomwriter /export/home/hadoop/input1
　　执行结果有原来的伪分布式的43分钟 
　　使用集群方式后三个slave，每个slave 4核8，使用1个副本 执行结果为4.5分钟。
　　   针对自己搭建的集群使用vmware workstation 就足够了，没有必要使用exsi 或者其他虚拟化软件，上手时间还快。