lakers009 发表于 2016-12-9 09:03:44

hadoop运行环境的搭建和hadoop源代码的编译

  hadoop运行环境搭建:

http://blog.csdn.net/licongcong_0224/article/details/12972889

注:(1)所有的配置文件和节点处不要有空格;
  
          (2)master和所有的slaves的hadoop安装路径要一致;
  
          (3)datanode无法启动的原因八成是你多次format namenode造成的;解决方法如下:
  
        
            clusterID不一致,namenode的cid和datanode的cid不一致,导致的原因是对namenode进行format的之后,
            datanode  不会进行format,所以datanode里面的cid还是和format之前namenode的cid一样,
            解决办法是删除datanode里面的 dfs.datanode.data.dir目录和tmp目录,
            然后再启动start-dfs.sh
            ]
         
            即使删除iptables之后,仍然报Datanode denied communication with namenode: DatanodeRegistration错误,
            参考文章http://stackoverflow.com/questions/17082789/cdh4-3exception-from-the-logs-after-start-dfs-sh-datanode-and-namenode-star,
           可以知道需要把集群里面每个houst对应的ip写入/etc/hosts文件就能解决问题。
           ]
  hadoop基本运行命令:
  http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html
  
hadoop代码编译:

http://www.superwu.cn/2013/12/26/913/
页: [1]
查看完整版本: hadoop运行环境的搭建和hadoop源代码的编译