hadoop入门-环境配置二

8516830

准备环境：
ubuntu9.04
sun-java-6
eclipse 3.3.2
hadoop 0.20.2
开始安装java基本套件，
$sudo apt-get install java-common sun-java6-bin sun-java6-jdk sun-java6-jre


安装sun-java6-doc, 将javadoc下载到/tmp 目录下，下载点


https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US


/-/USD/ViewProductDetail-Start?ProductRef=jdk-6u10-docs-oth-JPR@CDS-CDS_Developer


然后执行：$sudo apt-get install sun-java6-doc




接下来是配置ssh连接不需要密码，因为hadoop要通过ssh来进行连接通讯，如果有密码，则会出问题。


$ ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa


$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys


通过上面两个命令后，应该就没有问题了，$ssh localhost ，进行测试，没有密码提示，则通过。


安装hadoop


到hadoop.apache.org去download最新版本的hadoop，目前是hadoop-0.20.2.tar.gz,
下载后放到home目录下。
$tar zxvf hadoop-0.20.2.tar.gz
$sudo mv hadoop-0.20.2 /opt/
$sudo chown -R fling:fling /opt/hadoop-0.20.2
$sudo ln -sf /opt/hadoop-0.20.2 /opt/hadoop
编辑 /opt/hadoop/conf/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:/opt/hadoop/bin


编辑 /opt/hadoop/conf/core-site.xml


<configuration>
  <property>
    <name>fs.default.name</name>
    <value>localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop/hadoop-${user.name}</value>
  </property>
</configuration>


编辑 /opt/hadoop/conf/hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
编辑 /opt/hadoop/conf/mapred-site.xml
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>
然后，就可以启动hadoop，进行测试了。
$ cd /opt/hadoop
$ source /opt/hadoop/conf/hadoop-env.sh
$ hadoop namenode -format
$ start-all.sh
$ hadoop fs -put conf input
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
以上没有错误，就算是运行成功了，我们已经运行了hadoop自带的sample程序"grep"，
当然，我们也可以运行其他的程序，比如wordcount.
命令行下的hadoop,我们已经跑通了，下面，我们来配置eclipse开发hadoop。
安装eclipse 3.3.2 classic,这里要注意了，一定是eclipse 3.4版本以下的,
如果用的3.4/3.5/3.6，hadoop自带的eclipse插件是没用的，
需要自己编译，我会在下一篇中讲解，如何编译适合自己的hadoop eclipse plugin。
下载 eclipse 3.3.2 classic 到home目录下，
$ cd ~
$ tar -zxvf eclipse-SDK-3.3.2-linux-gtk.tar.gz
$ sudo mv eclipse /opt
$ sudo ln -sf /opt/eclipse/eclipse /usr/local/bin/
部署hadoop eclipse plugin，
$ cd /opt/hadoop
$ sudo cp /opt/hadoop/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar
/opt/eclipse/plugins
启动eclipse,然后就是在eclipse 上操作了。


　　

更多信息请查看

 java进阶网

 

http://www.javady.com