Hadoop集群的快速部署

ycvodzf

我的集群部署在局域网内部，与外网隔离开来。这个主要处于安全性考虑，在公网使用一段时间linux，你用 sudo cat /var/log/secure 查看安全日志会发现，每天都有一大堆居心不良的人在试探你的sshd服务。当然这个可以通过配置 sshd 来避免，不过还是谨慎为妙。
   
   闲话少说，步入正题。我的网络结构是这样的：我的机器通过多IP配置与集群在一个网段，也可以在另一个网段通过拨号上网。我机器的操作系统是Fedora 13，集群上的机器是CentOS。
   我快速部署的思路是这样的：在我的机器上下载cloudera.com上的hadoop安装包，然后在自己的机器上配置一个 yum 源，集群通过yum来批量升级和安装hadoop。
   
   第一步，下载安装包和相关文件。
   其实 cloudera 就有一个 yum源，查看一下http://archive.cloudera.com/redhat/cdh/3/ ，yum源的结构就很清晰了。

   wget -mc http://archive.cloudera.com/redhat/cdh/3/

   在当前文件夹下就有一个archive.cloudera.com的文件夹。
   
   第二步，配置本地源。
   mkdir /var/www/html/cloudera-hadoop
   cp -r archive.cloudera.com/redhat/cdh/3 /var/www/html/cloudera-hadoop
   这里是将对应的安装包和文件考到 web 目录下。
   注意这里需要使用的 httpd 服务，没开启服务的话，使用service httpd start开启，没有apache软件的话，使用 sudo yum install apache安装。
   
   然后自己做一个repo文件:
   vi cloudera-hadoop.repo

   内容：
   [cloudera-cdh3]
   name=Cloudera's Distribution for Hadoop, Version 3
   baseurl=http://192.168.0.240/cloudera-hadoop/3/
   gpgcheck = 0

    192.168.0.240是我机器在集群网段的IP。

    第三步，集群yum配置。
    将cloudera-hadoop.repo拷到集群机器的 /etc/yum.repos.d/目录下。
    然后在集群机器上更新yum： sudo yum update yum
    在列表中看到 hadoop 的rpm包就差不多了。

    接着，yum install hadoop-0.20                //安装hadoop主文件
         yum install hadoop-0.20-<daemon type>  //安装hadoop相关配置
         sudo yum install <CDH3-component-name> //安装hadoop相关组件
         这里可以参考cloudera官网的有关说明：
         https://docs.cloudera.com/display/DOC/CDH3+Installation
   
    除了主节点外，其他节点配置相同可以用集群管理命令 psh 批量安装。