hadoop部署
Hadoop对我来说是一个全新的东西，不知道它是啥，也不知道它能做什么。求懂的大神指点一二 。花了差不多一个上午加半个下午的时间研究了一下官网（http://hadoop.apache.org/docs/current/index.html）的文档，成功搭建了Hadoop单节点集群的安装，觉得官网的安装文档有的问题，因此记录一下我的安装过程。
参考文献http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
1.我的安装环境
centos6.5操作系统的虚拟机。
2. 安装必须的一些软件。
(1) jdk。我用的版本是jdk-7u67-linux-x64.rpm。
rpm -ivh jdk-7u67-linux-x64.rpm
(2) ssh，并实现本地无密码登陆
yum intall ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
(3)rsync
yum installrsync
3. 下载Hadoop的安装包
到http://mirrors.cnnic.cn/apache/hadoop/common/下载Hadoop的安装包，里面有不同的版本给你选择，选一个稳定版。我选择的 是hadoop-2.6.0。
下载完成后，解压。
tar -zxvfhadoop-2.6.0.tar.gz
4. 配置环境变量
我尝试了官网给的配置方法，执行下面的指令的时候回遇到错误，我参考了别人的配置方式，找到了一种可行的方式。
(1)编辑/etc/profile文件
vi /etc/profile
添加下面内容：
export JAVA_HOME=/usr/java/jdk1.7.0_67 #java的安装路径
export> export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export HADOOP_HOME=/home/hadoop/hadoop-2.6.0 #Hadoop安装包解压目录
export PATH=$PATH :$HADOOP_HOME/bin
保存退出，还有重新source一下。
source /etc/profile
(2)配置hadoop-env.sh
该文件在Hadoop解压目录的 etc/hadoop/目录下，添加
export JAVA_HOME=/usr/java/jdk1.7.0_67#Java安装路径
5. Hadoop的配置
(1) etc/hadoop/core-site.xml：
fs.defaultFS
hdfs://localhost:9000
(2) etc/hadoop/hdfs-site.xml:
dfs.replication
1
6. 执行
(1)系统格式化
cd /home/hadoop/hadoop-2.6.0
bin/hdfs namenode -format
(2)启动NameNode守护进程和DataNode守护进程:
sbin/start-dfs.sh
(3)现在可以通过浏览器访问部署的Hadoop了。
http://localhost:50070/
(4)创建HDFS user目录和子目录yu
bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/yu
页:
[1]