Hadoop单机环境搭建整体流程
1. Ubuntu环境安装和基本配置
本例程中在MAC上安装使用的虚拟机Ubuntu系统（64位，desktop）；
基本配置
考虑到以后涉及到hadoop的应用便于权限的管理，特别地创建一个hadoop用户，user和group名称均为hadoop。首先创建hadoop用户组：
sudo addgroup hadoop
在刚才创建的分组中创建hadoop用户：
sudo adduser –ingroup hadoop hadoop
创建用户的时候会提示输入密码，以及全名，房间号码等信息。然后，为hadoop用户添加权限，编辑/etc/sudoers文件，注意，在ubuntu下编辑此文件时必须要使用命令（直接使用vim可能导致不能正常保存或系统崩溃）：
sudo visudo –f /etc/sudoers
默认使用的时nano编辑器打开，在root下添加一行将使得hadoop用户也具有管理员权限。
创建用户完成后，安装ssh服务openssh-server，使得外部系统可以通过ssh命令直接进行操作。
java环境安装
运行hadoop要求必须要有一个java环境，这里直接通过下面的方式进行安装。
sudo apt-get install openjdk-7-jdk
安装完成后，配置环境变量JAVA_HOME，普通方式我们无法直接看到java安装的地址，这是因为java安装完成后都是通过link文件的方式放到/usr/bin/javac中，可以通过下图的手段看到java的安装地址：
设置环境变量有几种方式，本shell中直接export，只能影响当前shell窗口；本用户目录下的～/.bashrc文件，只会影响本用户；编辑/etc/profile文件则会对所有用户都起作用，这里我们使用第三种方式在文件的最后面加入以下的export语句：
保存退出后并不能起作用，必须要使用source命令手动刷新：
2. 安装和配置Hadoop
本例程中我们使用的是hadoop相对稳定的一个版本2.2.0进行配置（在服务器中下载http://mirror.bit.edu.cn/apache/hadoop/common/stable/）。
将hadoop解压到~/Public/hadoop文件夹下。
编辑文件hadoop/etc/hadoop/hadoop-env.sh文件，设置JAVA_HOME，如果前一步骤中已经设置，这部分也可以跳过。
编辑文件hadoop/etc/hadoop/core-site.xml文件：
注意，在设置hadoop.tmp.dir后，其中的/home/hadoop/Public/hadoop/tmp必须存在，需要手动去mkdir，否则后面会报错。
编辑hadoop/etc/hadoop/mapred-site.xml文件：
编辑hadoop/etc/hadoop/hdfs-site.xml文件：
3. 启动Hadoop
在配置完成之后，开始启动hadoop。
在初次运行hadoop时，需要初始化hadoop文件系统，在hadoop/bin目录下执行下面的命令：
./hdfs namenode –format
执行完成后，如果成功，会在日志看到以下的内容：
然后，在hadoop/sbin目录下运行命令：
./start-dfs.sh
若停止hadoop，依次运行如下命令：
./stop-yarn.sh
./stop-dfs.sh
但整个过程下来，我们发现还是出现错误...，这是因为hadoop编译的库使用的是32位的，而我们的Ubuntu Server使用的是64位，经过查证，需要重新进行编译……，下一章中我们将会进行hadoop环境的编译安装。
Hadoop 2.2.0 - warning: You have loaded library /home/hadoop/2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard.
页:
[1]