Hadoop集群环境安装步骤

lichaoyue888

1.实验环境：
1)三台主机，IP地址和记住名称如下：
IP：132.129.31.36  主机名：ossitsp3  用途：主节点（Master）
IP：132.129.31.37  主机名：ossitsp4  用途：从节点（Slaver）
IP：132.129.31.38  主机名:  ossitsp5  用途：从节点（Slaver）
其中36主机作为主节点，37和38作为从节点。
2)Hadoop版本：hadoop-2.4.1
2.安装步骤概览

3.操作过程
1)检查前置软件JDK。
Hadoop是基于JVM的，因此安装前必须先安装JDK。检查linux主机是否已经安装JDK，如果没有，需要先安装JDK。安装步骤如下：
下载最新版本的JDK，本次实验采用jdk-8u20-linux-x64.rpm版本
用root用户先将安装包拷贝到/usr/local下面。
cp  jdk-8u20-linux-x64.rpm /usr/local
进入local目录执行命令：rpm -ivh jdk-8u20-linux-x64.rpm
配置环境变量。
vi /etc/profile在最后面加入以下内容：
#set java environment
JAVA_HOME= /usr/java/jdk1.8.0_20
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
保存退出。注意：
要使JDK在所有的用户中使用，可以这样：
vi /etc/profile.d/java.sh
在新的java.sh中输入以下内容：
#set java environment
JAVA_HOME=/usr/java/ jdk1.8.0_20
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
保存退出，然后给java.sh分配权限：chmod 755 /etc/profile.d/java.sh
使配置文件立即生效：source /etc/profile
在终端使用echo命令检查环境变量设置情况并检查
#echo $JAVA_HOME
#echo $CLASSPATH
#echo $PATH。
#java -version
看到JVM版本及相关信息，即安装成功！
2)下载Hadoop并配置用户名。
本次实验下载的版本为hadoop-2.4.1
下载软件，并将软件上传到服务器
在每台机器上新建Hadoop用户组和Hadoop用户，以便于统一管理。
用root在每台机器上编辑/etc/hosts文件，用于IP和主机名进行映射。注意，是把集群中所有的主机映射都填上。（编辑前请先备份）
3)配置SSH免密码登陆。
用Hadoop登录各个主机，很重要。之前的操作都是root用户操作，后续操作都用Hadoop用户操作
在每台机器上生成公钥，并复制公钥到授权文件（用于免密码）。进入家目录，就是/home/hadoop/ssh/, 执行如下命令：
ssh-keygen –t  rsa
cp id_rsa.pub authorized_keys

进行单机迂回测试，即在单机结点上用ssh进行登录，看能否登录成功。登录成功后注销退出
ssh ossitsp5（主机名称），第一次提示，第二次以后就不提示了，设置成功。

输入exit，退出。
单机测试完成后，将每台的主机的authorized_keys内容添加到一个大的authorized_keys文件中。我的做法是将每台机器的authorized_keys下载到本地，然后用EditPlus打开，将每台主机的授权文件内容拷贝到一个大的文件中去。如图

将合并后的authorized_keys覆盖到每台主机中，然后进行测试。测试方法是，用ssh + 主机名称，如ssh ossitsp4，第一次回提示，第二次再次登录就不会再提示，主机进入了。

至此，SSH免密码登录已经配置成功。
4)修改配置文件。


配置hadoop-env.sh，在如下路径下/home/hadoop/hadoop-2.4.1/etc/hadoop将JAVA_HOME填到里面。


配置core-site.xml文件，主要配置对job的管理，样例如下：


配置Slaves ，主要配置从节点的信息。将从节点的主机名称写进入可以了。

配置core-site.xml文件
修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号。在/home/hadoop/hadoop-2.4.1/etc/hadoop路径下


配置hdfs-site.xml文件
修改Hadoop中HDFS的配置，配置的备份方式默认为1。在/home/hadoop/hadoop-2.4.1/etc/hadoop路径下，这里改成2。副本数要小于或等于节点数，否则会包错误。


配置mapred-site.xml.template文件，修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。


12向各节点复制/home/hadoop/hadoop-2.4.1的所有文件，如果各个节点上的JAVA_HOME不一样需要修改从节点的JAVA_HONE。如果都一样，其余的都不用修改(datanode之间互相通信，通过心跳和主节点交互的。因此从节点之间只要保证ssh通就行)。复制命令如下：
scp -r hadoop-2.4.1 ossitsp4:/home/hadoop

5) 格式化HDFS
在主节点上进入目录/home/hadoop/hadoop-2.4.1/sbin，执行
hdfs namenode –format 格式化HDFS文件系统，如果出现最后圈中的语句，表明格式化成功。


6)启动并检查HDFS
在主节点上进入目录：/home/hadoop/hadoop-2.4.1/sbin，执行
./ start-dfs.sh启动守护进程

检查守护进程是否都启动成功。
进入java的按照目录：/usr/java/jdk1.8.0_20/bin，执行jps，查看主节点的守护进程。此时ossitsp3上运行的进程有：namenode，secondarynamenode
ossitsp4和ossitsp5上运行的进程有：datanode
7)启动并检查yarn
在主节点上进入目录：/home/hadoop/hadoop-2.4.1/sbin，执行
./ start-yarn.sh启动守护进程

进入java的按照目录：/usr/java/jdk1.8.0_20/bin，执行jps，查看主节点的守护进程。此时ossitsp3上运行的进程有namenode，secondarynamenode，resourcemanager。ossitsp4和ossitsp5上运行的进程有：datanode，nodemanager。
8)检查启动日志
进入各个主机目录/home/hadoop/hadoop-2.4.1/logs/，检查以log结尾的日志文件，查看是否有启动错误日志。如果没有，表面Hadoop集群启动成功。
9)解决libhadoop.so.1.0.0在64位的问题
解决办法：
A.重新编译hadoop（彻底解决问题）
B.设置Hadoop环境变量（临时问题，可能以后会出问题）
暂时不涉及，待完善

4.通过Web方式访问集群环境
在浏览器输入http://132.129.31.36:50070/，通过web查看集群信息。