bco 发表于 2016-12-7 07:05:12

搭建hadoop集群时的注意项

  在这篇文章里讲述了一些配置的注意事项,我这里再补充一点自己的(如有不对恳请指出)
  Hadoop中的集群配置和使用技巧 分布式计算开源框架Hadoop入门实践(二)
  http://www.infoq.com/cn/articles/hadoop-config-tip
  1:master 和 slaves机器上运行hadoop的用户名要一样,这个主要是由于ssh生成的key是依据用户名来的,针对用户名来做公私钥验证。
  2:master 和 slaves上 hadoop的安装路径要一致,否则在运行程序时会在slaves上用master上的hadoop安装路径来执行程序
  3:master和slaves 上的hadoop-env.sh的JAVA_HOME要设置,这个路径可以不一样
  4:master 和 slaves 之间的网络端口访问需要授权,例如在iptables中设置accept 或者直接关掉 iptables这个服务
  5:fs.default.name 这个配置项记得要配置在core-site.xml,不要配置在hdfs-site.xml 因为hadoop命令会读取这个里面的配置项而不是hdfs-site.xml的
页: [1]
查看完整版本: 搭建hadoop集群时的注意项