伪分布式模式的Hadoop环境搭建
一、本文说明：本次测试在一台虚拟机系统上进行伪分布式搭建。Hadoop伪分布式模式是在单机上模拟Hadoop分布式，单机上的分布式并不是真正的伪分布式，而是使用线程模拟分布式。Hadoop本身是无法区分伪分布式和分布式的，两种配置也很相似。唯一不同的地方是伪分布式是在单机器上配置，数据节点和名字节点均是一个机器。
二、环境说明：
操作系统：Cent Os 6.7
hadoop版本：hadoop-2.7.2
JDK版本：jdk1.8_77
备注：基于独立模式基础上搭建，参考文章：独立模式的Hadoop环境搭建。
三、基本环境配置
1、针对不同的模式在${HADOOP_HOME}/etc/下建立不同的配置文件夹
独立模式：hadoop_alone（建议）
伪分布模式：hadoop_presudo（建议）
完全分布模式：hadoop_cluster（建议）
2、参数配置目录的指定方式
A、默认方式：${HADOOP_HOME}/etc/hadoop/*.xml
B、通过启动参数指定配置目录
Start-dfs.sh –config=/path
C、通过环境变量HADOOP_CONF_DIR=/path(/etc/profile)
备注：因为搭建伪分布模式：我这里配置的${HADOOP_HOME}/etc/hadoop_presudo
http://www.itroad.org/uploadfile/2016/0413/20160413040129321.png
http://www.itroad.org/uploadfile/2016/0413/20160413040147148.png
三、环境搭建
1、配置${HADOOP_HOME}/etc/hadoop_presudo/core-site.xml
http://www.itroad.org/uploadfile/2016/0413/20160413040608831.png
2、配置${HADOOP_HOME}/etc/hadoop_presudo/hdfs-site.xml
http://www.itroad.org/uploadfile/2016/0413/20160413040716768.png
3、配置${HADOOP_HOME}/etc/hadoop_presudo/mapred-site.xml
http://www.itroad.org/uploadfile/2016/0413/20160413040805330.png
4、配置${HADOOP_HOME}/etc/hadoop_presudo/yarn-site.xml
http://www.itroad.org/uploadfile/2016/0413/20160413040859775.png
5、格式化HDFS文件系统
http://www.itroad.org/uploadfile/2016/0413/20160413040923742.png
http://www.itroad.org/uploadfile/2016/0413/20160413041032792.png
6、启动HDFS和YRAN的守护进程（start-dfs.sh,start-yarn.sh）
http://www.itroad.org/uploadfile/2016/0413/20160413041057741.png
http://www.itroad.org/uploadfile/2016/0413/20160413041134146.png
备注:停止进程是按照YARN先关闭 然后关闭HDFS，不要频繁的格式化名称节点
7、通过fs操作HDFS里面的文件
A、创建目录：hadoop fs -mkdir -p /user/Ubuntu
B、显示目录：hadoop fs -ls -R /
……
8、访问：http://IP:50070
http://www.itroad.org/uploadfile/2016/0413/20160413041224922.png
页:
[1]