Hadoop 集群安装详细步骤

hailai

　　本文所使用的版本是 hadoop 1.0.0，即 2011年12月27日发布的1.0正式版。
　　详细安装步骤如下，有大步骤，每个步骤里面有小步骤，绝大部分是必选，只有2步是可选的，红色部分表示要特别注意的地方。
　　1. 用vmware workstation 新建一台ubuntu server，然后用浅拷贝Create a linked clone 克隆出两台作为slave，这样有了三台ubuntu机器。启动三台机器，假设IP分别为192.168.1.131, 192.168.1.132, 192.168.1.133, 131做为master,132为 slave01, 133为slave02。
　　2. 修改机器名（这一步的作用是让命令行提示看起来好看点，由默认的 dev@bogon变为 dev@master，这步可选，可以跳过）
　　(1)192.168.1.131上执行
　　dev@bogon:~$ sudo vi /etc/hostname
　　master
　　重启，会发现命令提示符变为了 dev@master:~$
　　(2)192.168.1.132上执行
　　dev@bogon:~$ sudo vi /etc/hostname
　　slave01
　　重启，会发现命令提示符变为了 dev@slave01:~$
　　(3)192.168.1.133上执行
　　dev@bogon:~$ sudo vi /etc/hostname
　　slave02
　　重启，会发现命令提示符变为了 dev@slave02:~$
　　3. 修改master的hosts文件，并拷贝到每台slave上。
　　(1)dev@master:~$ sudo vi /etc/hosts
　　添加三行内容
　　192.168.1.131 master
192.168.1.133 slave01
192.168.1.134 slave02
　　注意一定要注释掉
　　#127.0.1.1 bogon.localdomain bogon
　　最后hosts文件内容如下：
　　127.0.0.1 localhost
#127.0.1.1 bogon.localdomain bogon
192.168.1.131 master
192.168.1.133 slave01
192.168.1.134 slave02
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
　　(2)将hosts文件拷贝到另外两台台机器上，覆盖原来的hosts文件
　　dev@master:~$ scp /etc/hosts dev@192.168.1.132:~
　　dev@master:~$ scp /etc/hosts dev@192.168.1.133:~
　　(3)在192.168.1.132上执行
　　dev@slave01:~$ sudo mv hosts /etc/hosts
　　(4)在192.168.1.133上执行
　　dev@slave02:~$ sudo mv hosts /etc/hosts
　　4. 配置 master 无密码登陆到所有机器（包括本机）
　　(1)dev@master:~$ ssh-keygen -t rsa
　　dev@master:~$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
　　dev@master:~$ scp .ssh/id_rsa.pub dev@192.168.1.132:~/
　　dev@master:~$ scp .ssh/id_rsa.pub dev@192.168.1.133:~/
　　dev@slave01:~$ cat id_rsa.pub >> .ssh/authorized_keys
　　dev@slave02:~$ cat id_rsa.pub >> .ssh/authorized_keys
　　(2)测试一下，
　　dev@master:~$ ssh slav01
　　如果登陆不上，试试先关闭slave01的防火墙，
　　dev@slave01:~$ sudo ufw disable
　　5. 从hadoop.apache.org下载 hadoop-1.0.0-bin.tar.gz，上传到master中，解压，然后复制到其他机器，解压。
　　dev@master:~$ tar -zxvf hadoop-1.0.0-bin.tar.gz
　　dev@master:~$ scp hadoop-1.0.0-bin.tar.gz dev@192.168.1.133:~
　　dev@master:~$ scp hadoop-1.0.0-bin.tar.gz dev@192.168.1.134:~
　　dev@slave01:~$ tar -zxvf hadoop-1.0.0-bin.tar.gz
　　dev@slave02:~$ tar -zxvf hadoop-1.0.0-bin.tar.gz
　　6. 编辑配置文件
　　dev@master:~$ cd hadoop-1.0.0/etc/hadoop
　　dev@master:~/hadoop-1.0.0/etc/hadoop$ vi hadoop-env.sh
　　仅需要设置JAVA_HOME，export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
　　dev@master:~/hadoop-1.0.0/etc/hadoop$ vi core-site.xml
　　<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/dev/hadoop_tmp/</value>
</property>
</configuration>
　　dev@master:~/hadoop-1.0.0/etc/hadoop$ vi mapred-site.xml
　　<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>master:9001</value>
    </property>
</configuration>
　　dev@master:~/hadoop-1.0.0/etc/hadoop$ vi hdfs-site.xml
　　<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
　　dev@master:~/hadoop-1.0.0/etc/hadoop$ vi masters
　　192.168.1.133
　　dev@master:~/hadoop-1.0.0/etc/hadoop$ vi slaves
　　192.168.1.133
　　192.168.1.134
　　7. 将配置文件拷贝到各台slave（master和slaves这2个配置文件可以不拷贝到slave机器上，只在master上保存即可。待验证）
　　dev@master:~/hadoop-1.0.0/etc/hadoop$ scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves dev@192.168.1.133:~/hadoop-1.0.0/etc/hadoop
　　dev@master:~/hadoop-1.0.0/etc/hadoop$ scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves dev@192.168.1.134:~/hadoop-1.0.0/etc/hadoop
　　8. 设置环境变量
　　(1). 设置master的环境变量
　　dev@master:~$ vi .bashrc
　　export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=~/hadoop-1.0.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/share/hadoop/hadoop-core-1.0.0.jar
　　export HADOOP_HOME=~/hadoop-1.0.0
　　export PATH=$PATH:$HADOOP_HOME/bin
　　dev@master:~$ source .bashrc
　　(2) 将master上的.bashrc拷贝到其他机器，并source刷新。
　　dev@master:~$ scp .bashrc dev@192.168.1.133:~
　　dev@master:~$ scp .bashrc dev@192.168.1.134:~
　　dev@slave01:~$ source .bashrc
　　dev@slave02:~$ source .bashrc
　　9. 运行 hadoop
　　dev@master:~$ hadoop namenode -format （只需一次，下次启动不再需要格式化，只需 start-all.sh）
　　dev@master:~$ start-all.sh
　　10. 检查是否运行成功
　　dev@master:~$ jps
　　2615 NameNode
2767 JobTracker
2874 Jps
　　dev@slave01:~$ jps
　　3415 DataNode
3582 TaskTracker
3499 SecondaryNameNode
3619 Jps
　　dev@slave02:~$ jps
　　3741 Jps
3618 DataNode
3702 TaskTracker
　　11. 停止 hadoop集群
　　dev@master:~$ stop-all.sh
　　让 slave 节点也 可以启动 整个hadoop集群
　　注意
　　1. stat-all.sh 启动后，刚刚开始，namenode的日志里有些异常，是正常的，过一两分钟就好了，如果两分钟后，还有异常不断在打印，就有问题了。datanode的日志，从一开始，正常情况下，就没有异常，如果报了异常，说明有异常，要去排除。
　　2. masters文件，这个文件很容易被误解，它实际上存放的是secondarynamenode，而不是namenode。An HDFS instance is started on a cluster by logging in to the NameNode machine and running$HADOOP_HOME/bin/start-dfs.sh (orstart-all.sh ). This script. starts a localinstance of the NameNode process, logs into every machine listed in theconf/slaves file and starts an instance of the DataNode process, and logs into every machine listed in theconf/masters file and starts an instance of the SecondaryNameNode process. Themastersfile does not govern which nodes become NameNodes or JobTrackers; those are started on the machine(s)wherebin/start-dfs.sh andbin/start-mapred.sh are executed. A more accurate filename might be “secondaries,” but that’s notcurrently the case.
　　参考以下三篇文章
Multi-host SecondaryNameNode Configuration
SecondaryNamenode应用摘记
hadoop下运行多个SecondaryNameNode的配置
　　3. 一定要注释掉 hosts里面的 #127.0.1.1 bogon.localdomain bogon，参考 Hadoop集群机器命名机制，hadoop集群环境安装中的hosts 配置问题。
　　4. 当测试ssh是否能连通时，如果连接不上，先记得要关闭防火墙，sudo ufw disable，参考hadoop集群安装步骤。
　　未解决的疑惑
　　1. 有的很多文章，比如这篇，Hadoop集群安装，在core-site.xml, mapred-site.xml，直接写上ip:port，这样就不用修改hosts文件了。可是我这样配置，老是不成功。为此我还在stackoverflow上发了帖子，。有的文章又说只能用host:port的形式。因此ip:port的格式是否能成功还待验证。如果有高手用ip:port配置成功过，请给我发email，我会非常感谢。
　　原文地址：http://www.yanjiuyanjiu.com/2012/01/03/hadoop-cluster-setup/