安装单机模式hadoop的流程

jmton

安装环境:
Ubuntu 9.10
hadoop 0.20.2
1.安装ssh服务
1) sudo apt-get install openssh-server
2) 生成key用于 ssh localhost 的时候不用输入密码
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
这时候,如果提示：Agent admitted failure to sign using the key.
$ ssh-agent
$ ssh-add id_rsa   //这行在~/.ssh/内执行的
3) ssh local
如果提示: ssh: connect to host 133.133.133.65 port 22: Connection refused
方法一（推荐）：
修改/etc/passwd文件，在其中加入
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
参考
http://www.unixguide.net/comments/sun/ssh_installation.shtml/37.shtml
http://www.gipsky.com/modules/newbb/viewtopic.php?topic_id=966
方法二（不推荐）：
修改/etc/ssh/sshd_config文件
将其中
UsePrivilegeSeparation yes
修改为
UsePrivilegeSeparation no
虽然能解决问题，但是降低了ssh的安全级别
4）这时候 ssh local 真的不需要密码就可以登录了..
2.安装jdk
这个就不需要说了..配出来java -v就行了
3.安装hadoop
1)解压到/opt/hadoop

$ tar zxvf hadoop-0.20.2.tar.gz
$ sudo mv hadoop-0.20.2 /opt/
$ sudo chown -R hadoop:hadoop /opt/hadoop-0.20.2
$ sudo ln -sf /opt/hadoop-0.20.2 /opt/hadoop


4.配置 hadoop-env.sh
1）在hadoop/conf 里面hadoop-env.sh增加

export JAVA_HOME=/usr/jdk1.6.0.18
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:/opt/hadoop/bin


5.配置文件
1)編輯 /opt/hadoop/conf/core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop/hadoop-${user.name}</value>
</property>
</configuration>


2)編輯 /opt/hadoop/conf/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>


3)編輯 /opt/hadoop/conf/mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>


6.格式化hdfs

$ cd /opt/hadoop
$ source conf/hadoop-env.sh
$ hadoop namenode -format

提示信息一大堆...

7.启动hadoop

$ sudo ./start-all.sh  //在hadoop/bin下执行


8.完成后的测试

http://localhost:50030/ - Hadoop 管理接口


后续还会继续补充...............