Hadoop 1.0安装配置

pengjunling

1部署介绍
1.1环境说明

         集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通。节点IP地址分布如下：

机器名称	IP地址
Master	192.168.1.2
Salve1	192.168.1.3
Salve2	192.168.1.4
Salve3	192.168.1.5

Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；3个Salve机器配置DataNode和TaskTracker的角色，负责分布式数据存储以及任务的执行。
1.2网络配置
1）查看当前机器名称
用下面命令进行显示机器名称，如果跟规划的不一致，要按照下面进行修改。
hostname
2）修改机器名
1. 打开/etc/hostname文件;
 
sudo gedit /etc/hostname
 
2. 将/etc/hostname文件中的ubuntu改为你想取的机器名。重启系统后才会生效。
3）配置hosts文件（必须）
"/etc/hosts"这个文件是用来配置主机将用的DNS服务器信息，是记载LAN内接续的各主机的对应[HostName和IP]用的。当用户在进行网络连接时，首先查找该文件，寻找对应主机名（或域名）对应的IP地址。
sudo gedit /etc/hosts
2.创建hadoop用户组和用户
2.1. 创建hadoop用户组;
sudo addgroup hadoop
2.2. 创建hadoop用户;
sudo adduser -ingroup hadoop hadoop
2.3. 给hadoop用户添加权限；
sudo gedit /etc/sudoers
 
按回车键后就会打开/etc/sudoers文件了，给hadoop用户赋予root用户同样的权限。
在root   ALL=(ALL:ALL)   ALL下添加hadoop   ALL=(ALL:ALL)  ALL
3. SSH无密码验证配置
3.1安装SSH
sudo apt-get install ssh安装SSH协议
sudo apt-get install rsync （rsync是一个远程数据同步工具）
3.2配置节点间无密码登录
1、转换成hadoop用户
su hadoop
2、生成无密码密钥对
ssh-keygen –t rsa –P “”
3、把id_rsa.pub追加到授权的key里面去
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4、修改文件"authorized_keys"权限
chmod 600 ~/.ssh/authorized_keys
5、用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）
 
6、退出root登录，使用hadoop普通用户验证是否成功。
 ssh localhost
7、接下来的事儿是把公钥复制所有需要无密码访问的机器上。使用下面的命令格式进行复制公钥：
 scp ~/.ssh/id_rsa.pub 远程用户名@远程服务器IP:~/
8、然后将公钥追加到该节点的授权文件"authorized_keys"中去
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
9、最后记得把"/home/hadoop/"目录下的"id_rsa.pub"文件删除掉。
rm –r ~/id_rsa.pub
4Java环境安装
所有的机器上都要安装JDK，现在就先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装JDK以及配置环境变量，需要以"root"的身份进行。
4.1安装jdk
1、首先用root身份登录"Master.Hadoop"后在"/usr"下创建"java"文件夹
mkdir /usr/java
2、把相应的安装包复制到/usr/java目录下
cp /home/hadoop/ jdk-6u31-linux-i586.bin /usr/java
3、接着进入"/usr/java"目录下通过下面命令使其JDK获得可执行权限，并安装JDK。
chmod   +x   jdk-6u31-linux-i586.bin（修改权限）
./jdk-6u31-linux-i586.bin（运行）
4、该过程可以直接下载jdk*.tar.gz包解压之后移动到/usr/java目录下，然后修改所属用户和组。
chown -R root:root  /usr/java
4.2配置环境变量
编辑"/etc/profile"文件，在后面添加Java的"JAVA_HOME"、"CLASSPATH"以及"PATH"内容。
# set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_31
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
 
4.3生效并验证
source /etc/profile
java -version
5 hadoop集群安装
5.1安装hadoop
1、下载hadoop并解压，然后将解压后的文件夹移动到合适的目录下，并把读权限分配给hadoop用户（非常重要）
 
chown –R hadoop:hadoop hadoop-1.2.1
 
2、把Hadoop的安装路径添加到"/etc/profile"中，修改"/etc/profile"文件（配置java环境变量的文件），将以下语句添加到末尾，并使其有效：
# set hadoop path
export HADOOP_HOME_WARN_SUPPRESS=1
export HADOOP_HOME=#####
export PATH=$PATH :$HADOOP_HOME/bin
5.2配置hadoop
　　1）配置hadoop-env.sh
该"hadoop-env.sh"文件位于"~/conf"目录下。
export JAVA_HOME=/usr/java/jdk1.6.0_31
　　2）配置core-site.xml文件
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>$HADOOP_HOME/tmp</value>
        （备注：请先在 /usr/hadoop 目录下建立 tmp 文件夹）
        <description>A base for other temporary directories.</description>
    </property>
<!-- file system properties -->
    <property>
        <name>fs.default.name</name>
        <value>hdfs://192.168.1.2:9000</value>
    </property>
</configuration>
　　3）配置hdfs-site.xml文件
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        (备注：replication 是数据副本数量，默认为3，salve少于3台就会报错)
    </property>
<configuration>
　　4）配置mapred-site.xml文件
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>http://192.168.1.2:9001</value>
    </property>
</configuration>
　　5）配置masters文件
去掉"localhost"，加入Master机器的IP：192.168.1.
sudo gedit masters
　　6）配置slaves文件（Master主机特有）
去掉"localhost"，加入集群中所有Slave机器的IP，也是每行一个。
sudo gedit slaves
　　7）克隆hadoop
将 Master上配置好的hadoop所在文件夹复制到所有的Slave的对应目录下（实际上Slave机器上的slavers文件是不必要的，复制了也没问题）。（备注：此时用户可以为hadoop也可以为root），修改权限，配置/etc/profile
5.3启动
　　1）格式化HDFS文件系统
　　在"Master "上使用普通用户hadoop进行操作。（备注：只需一次，下次启动不再需要格式化，只需 start-all.sh）
 hadoop namenode –format
　　2）启动hadoop
start-all.sh