Hadoop平台搭建（VMware、CentOS）
1、硬件平台[*]Intel(R) Xeon(R) CPU E7-4850 v3 @ 2.20GHz 2.19GHz(4处理器)
[*]安装内存384GB
2、软件平台
[*]Windows Server 2012 R2 Standard Edition, 64-bit (Build 9600) 6.3.9600
[*]VMware Workstation 10.0.1 build-1379776
3、虚拟平台（基于硬件自由配置）
[*]虚拟CPU-Intel(R) Xeon(R) CPU E7-4850 v3 @ 2.20GHz（双芯八核）
[*]虚拟内存-8GB
[*]镜像文件-CentOS-6.5-x86_64-bin-DVD1.iso
4、虚拟集群（均默认安装、IP地址由VMware分配）
IP地址
计算机名
root密码
用户名
密码
192.168.222.134
Master.Hadoop
master
Administrator
admin
192.168.222.135
Slave1.Hadoop
slave1
Administrator
admin
192.168.222.136
Slave2.Hadoop
slave2
Administrator
admin
192.168.222.137
Slave3.Hadoop
slave3
Administrator
admin =======================此后所有操作均以root用户权限执行且需网络访问正常========================
5、 配置JDK（于所有主机）
该镜像中自带有openjdk的最小化版本（/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64/），该版本只有运行时环境(jre)，无法满足Hadoop开发要求，需要更新。
①卸载自带版本
yum -y remove java-1.7.0-openjdk*
yum -y remove tzdata-java.noarch
②确认卸载完毕
yum list installed | grep java
③安装新版本jdk
yum list java* //先查看所有可用版本
yum -y install java-1.7.0-openjdk*
④查看已安装版本
java -version
⑤安装完毕
位置：/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131.x86_64/
⑥配置JAVA环境变量
vi /etc/profile
追加以下：
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131.x86_64
export> export PATH=$PATH:$JAVA_HOME/bin
⑦使配置生效
source /etc/profile
⑧查看是否生效
env //查看所有环境变量
6、配置SSH无密码登录（①、②于所有主机，③-⑤于Master）
①开启SSH登录
vi /etc/ssh/sshd_config
找到并去掉以下两行的注释
#RSAAuthentication yes
#PubkeyAuthentication yes
②生成公钥RSA key
ssh-keygen -t rsa //不输入密码，一直回车
③合并公钥到authorized_keys文件
cd /root/.ssh
cat> ssh root@192.168.222.135 cat ~/.ssh/id_rsa.pub >> authorized_keys //会要求输入root密码
ssh root@192.168.222.136 cat ~/.ssh/id_rsa.pub >> authorized_keys //会要求输入root密码
ssh root@192.168.222.137 cat ~/.ssh/id_rsa.pub >> authorized_keys //会要求输入root密码
④将Master上的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录中
scp authorized_keys root@192.168.222.135:/root/.ssh
scp known_hosts root@192.168.222.135:/root/.ssh
scp authorized_keys root@192.168.222.136:/root/.ssh
scp known_hosts root@192.168.222.136:/root/.ssh
scp authorized_keys root@192.168.222.137:/root/.ssh
scp known_hosts root@192.168.222.137:/root/.ssh
⑤配置成功，ssh登录测试
ssh root@192.168.222.135
7、安装Hadoop 2.7.3（于Master主机）
①下载hadoop-2.7.3.tar.gz
②在/home/下建立hadoop文件夹
mkdir /home/hadoop
③解压文件
tar -zxvf hadoop-2.7.3.tar.gz
④在hadoop-2.7.3目录下建立子目录
cd /home/hadoop/hadoop-2.7.3
mkdir hdfs
cd hdfs
mkdir data
mkdir name
mkdir temp
8、配置Hadoop（于Master主机）
操作目录：/home/hadoop/hadoop-2.7.3/etc/hadoop
①配置core-site.xml
<configuration> <property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.222.134:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/hadoop-2.7.3/hdfs/temp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
</configuration>
②配置hdfs-site.xml
<configuration> <property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop-2.7.3/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop-2.7.3/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.222.134:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<!--下一项可能非必要 -->
<property>
<name>dfs.namenode.datanode.registration.ip-hostname-check</name>
<value>false</value>
</property>
</configuration>
③配置mapred-site.xml（先依照mapred-site.xml.template创建mapred-site.xml，再进行修改）
<configuration> <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.222.134:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.222.134:19888</value>
</property>
</configuration>
④配置yarn-site.xml
<configuration> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.222.134:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.222.134:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.222.134:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.222.134:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.222.134:8088</value>
</property>
<!--
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>768</value>
</property>
-->
<!-- Site specific YARN configuration properties -->
</configuration>
⑤配置slaves文件
vi /home/hadoop/hadoop-2.7.3/etc/hadoop/slaves
清空并添加：
192.168.222.135
192.168.222.136
192.168.222.137
⑥将Hadoop配置到Slave集群中
scp -r /home/hadoop root@192.168.222.135:/home
scp -r /home/hadoop root@192.168.222.136:/home
scp -r /home/hadoop root@192.168.222.137:/home
⑦配置Hadoop环境变量（于所有主机）
vi /etc/profile
追加以下：
export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/bin
保存退出后执行：
source /etc/profile
可查看环境变量是否生效：
env
9、配置hosts(于所有主机)
vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.222.134 Master.Hadoop
192.168.222.135 Slave1.Hadoop
192.168.222.136 Slave2.Hadoop
192.168.222.137 Slave3.Hadoop
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10、防火墙配置（于所有主机）
service iptables status //查看防火墙状态
service iptables stop //关闭防火墙
Hadoop启动前保证集群所有主机防火墙为关闭状态
11、启动Hadoop（于Master主机）
操作目录为：/home/hadoop/hadoop-2.7.3
①重置namenode
bin/hdfs namenode -format
②启动Hadoop
sbin/start-all.sh
③查看进程启动情况
jps //Master上的结果
jps //Slave上的结果
④查看hdfs虚拟磁盘信息（确认Hadoop是否正常启动）
bin/./hadoop dfsadmin -report
还有更多信息未截图...
⑤在浏览器中查看启动情况
http://192.168.222.134:50070
还有更多信息未截图...
⑥关闭hadoop
sbin/stop-all.sh
12、第一个mapreduce任务——wordcount
操作目录为：Master:/home/hadoop/hadoop-2.7.3
①在hdfs上建立测试目录
bin/hdfs dfs -mkdir -p /data/input
②添加测试文本（README.txt）
hdfs dfs -put README.txt /data/input
③确认测试文本存在
bin/hdfs dfs -ls /data/input
④执行wordcount任务
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /data/input /data/output/result
⑤查看执行结果
hdfs dfs -cat /data/output/result/part-r-00000
也可以转移到本地文件中查看结果：
hdfs dfs -cat /data/output/result/part-r-00000 >> result.txt
gedit result.txt
还有更多信息未截图...
⑥在浏览器中查看mapreduce任务
http://192.168.222.134:8088/cluster
******************************************************************************************************
******************************************************************************************************
异常处理：
1、出了异常一定要记得看日志，可以在浏览器上看（http://192.168.222.134:50070），也可以直接去找日志文件（/home/hadoop/hadoop-2.7.3/logs）
2、启动后jps查看进程，发现Slave上datanode启动失败(或者显示有datanode进程但实际上日志已记录错误)。这种情况一般是由于多次执行11-①的指令导致Master和Slave的clusterID版本不一致。可以分别在Master:/home/hadoop/hadoop-2.7.3/hdfs/name/current/VERSION和Slave:/home/hadoop/hadoop-2.7.3/hdfs/data/current/VERSION中找到clusterID信息，确认是否不一致。解决方案是，关闭hadoop后，将所有Slave:/home/hadoop/hadoop-2.7.3/hdfs/data下的文件删除，之后重新启动hadoop。
3、执行11-④指令查看HDFS信息时，发现Configured Capacity: 0 (0 KB) Present Capacity: 0 (0 KB) DFS Remaining: 0，类似以下：
此时需要检查每台主机的/etc/hosts文件是否配置正确，因为通常是由于主机间无法识别hostname而导致通信错误。只要按照步骤10配置应该不会出现这类错误。
参考链接Top 5（排名分先后）：
1、搭建hadoop环境，CentOS6.5安装Hadoop2.7.3完整流程 - u014019693的博客 - 博客频道 - CSDN.NET
2、Hadoop2.7.3完全分布式集群搭建和测试 - 如果一切重来 - 博客频道 - CSDN.NET
3、hadoop 2.7.3 启动Hadoop HDFS时的“Incompatible clusterIDs” - kamereon的博客 - 博客频道 - CSDN.NET
4、How-to: Resolve "Datanode denied communication with namenode because hostname cannot be resolved (ip - lulynn的博客 - 博客频道 - CSDN.NET
5、ubuntu - Hadoop: java.net.UnknownHostException: hadoop-slave-2 - Stack Overflow
页:
[1]