Hadoop搭建-单机模式

万达换票券

临近年关，不是太忙。就在闲暇时间看了下hadoop..欢迎各位大牛拍砖.
单机模式
1、jdk安装（jdk6.0）
a)下载地址：http://www.oracle.com/technetwork/java/javase/dwnloads/jdk-6u30-download-1377139.html
b) jdk安装目录/opt/jdk1.6.0_30
2、hadoop安装（hadoop1.0.0）
a)下载地址：http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.0.0/
b) hadoop安装目录/opt/hadoop-1.0.0
3、修改$HADOOP_HOME$/etc/hadoop/hadoop-env.sh,添加JAVA_HOME=/opt/jdk1.6.0_30
4、下面的实例将已解压的 conf 目录拷贝作为输入，查找并显示匹配给定正则表达式的条目。输出写入到指定的output目录。
$ cd /opt/hadoop-1.0.0/
$ mkdir input
$ cp /opt/hadoop-1.0.0/etc/hadoop*.xml input
$ bin/hadoop jar /opt/hadoop-1.0.0/share/hadoop/hadoop-examples-1.0.0.jar grep input output 'dfs[a-z.]+'
$ cat output/*

单机模式的伪分布系统
1、查看机器的hostname，使用命令$hostname,如果不是localhost，需要修改成localhost。
2、修改hadoop的配置文件。这里需要修改三个配置文件，分别是：
a)/opt/hadoop-1.0.0/etc/hadoop/core-site.xml
<configuration>
<property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
</property>
</configuration>
b)/opt/hadoop-1.0.0/etc/hadoop/mapred-site.xml
<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value>
</property>
</configuration>
c)/opt/hadoop-1.0.0/etc/hadoop/hdfs-site.xml
<configuration>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
</configuration>

3、免密码ssh设置
现在确认能否不输入口令就用ssh登录localhost:
$ ssh localhost
如果不输入口令就无法用ssh登陆localhost，执行下面的命令：
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4、格式化一个新的分布式文件系统：
$ bin/hadoop namenode -format
启动Hadoop守护进程：
$ sbin/start-all.sh
Hadoop守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是 ${HADOOP_HOME}/logs).

5、浏览NameNode和JobTracker的网络接口，它们的地址默认为：
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/

6、将输入文件拷贝到分布式文件系统：
$ bin/hadoop fs -put /opt/hadoop-1.0.0/etc/hadoop*.xml input

7、运行发行版提供的示例程序：
bin/hadoop jar /opt/hadoop-1.0.0/share/hadoop/hadoop-examples-1.0.0.jar grep input output 'dfs[a-z.]+'

8、查看输出文件：
将输出文件从分布式文件系统拷贝到本地文件系统查看：
$ bin/hadoop fs -get output output
$ cat output/*
或者
在分布式文件系统上查看输出文件：
$ bin/hadoop fs -cat output/*

9、完成全部操作后，停止守护进程：
$ sbin/stop-all.sh

Hadoop命令整理：
1、从HDFS中删除input目录
/opt/hadoop-1.0.0/bin/hadoop fs -rmr input/
2、把本地目录上传到HDFS
/opt/hadoop-1.0.0/bin/hadoop fs -put input/  input

注意点：
1、Hadoop1.0.0和之前的版本有些许改动。文件的目录结构需要注意。
2、机器的hostname需要注意。