Hadoop 安装问题和解决方案

tedwhy

前几天在Window和Linux主机安装了Hadoop，版本是hadoop-0.21.0，出现了一些环境的问题，记录一下，做下备忘

 

1. cygwin启动Hadoop时候，总是报以下异常：

 java.lang.NoClassDefFoundError: org/apache/hadoop/util/PlatformName

问题分析：出现该错误通常是找不到Main函数，而Hadoop是通过Shell脚本调用Java的Main类的

    解决方法：

 a.修改conf/hadoop-env.sh的JAVA_HOME到本机的正确位置

 export JAVA_HOME=/cygdrive/d/Soft/Java/jdk1.6.0_26

b. 将${HADOOP_HOME}/bin/hadoop-config.sh文件中的第190行的以下内容

 

Java代码    

• JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m ${HADOOP_JAVA_PLATFORM_OPTS} org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g" `  
  

修改成以下的内容

Java代码    

• JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m -classpath ${HADOOP_COMMON_HOME}/hadoop-common- 0.21 . 0.jar org.apache.hadoop.util.PlatformName | sed -e  "s/ /_/g" `  
  

 

2.bin/start-all.sh正常，输入bin/start-fds.sh出错，显示以下提示：Hadoop common not found。

    问题分析：出现该问题的原因是没有定义HADOOP_NAME

    处理方法：Linux中为在.bashrc文件中加入 export HADOOP_HOME=$HOME/hadoop-0.21.0

 

3、在操作HDFS的时候发现总是提示以下错误，而无法完成功能的操作：java.io.IOException: File /user/administrator/chen3/NOTICE.txt could only be replicated to 0 nodes, instead of 1

检查datanode日志，发现DateNode与NameNode的命名空间版本不匹配

2011-08-04 11:23:23,065 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-linzm/dfs/data: namenode namespaceID = 775148417; datanode namespaceID = 1771400337

    问题分析：看日志应该是DataNode的命名空间版本与NameNode不一致，重启后也是不能解决。

    处理方法：将/tmp/hadoop-linzm/dfs/data/current/VERSION文件中的namespaceID改为错误日志的提示版本

 

4、将jar放到hadoop中，并执行时候，报以下异常

 

Java代码    

• [linzm @vm - 360 - 149 - 11 test]$ hadoop jar wordcount/wordcount.jar org.myorg.WordCount wordcount/input wordcount/outpu  
  
• Exception in thread "main" java.io.IOException: Error opening job jar: wordcount/wordcount.jar  
  
•         at org.apache.hadoop.util.RunJar.main(RunJar.java:130 )  
  
• Caused by: java.util.zip.ZipException: error in opening zip file  
  
•         at java.util.zip.ZipFile.open(Native Method)  
  
•         at java.util.zip.ZipFile.<init>(ZipFile.java:114 )  
  
•         at java.util.jar.JarFile.<init>(JarFile.java:133 )  
  
•         at java.util.jar.JarFile.<init>(JarFile.java:70 )  
  
•         at org.apache.hadoop.util.RunJar.main(RunJar.java:128 )  
  

  问题分析：通常出现这种情况有两种原因：jar报格式坏、文件路径不对。

 处理方法：检查hadoop中文件的大小与本地是一致的，最后查明原因是jar包路径没有输入正确

 

5.官方例子中：http://hadoop.apache.org/common/docs/current/mapred_tutorial.html

运行：bin/hadoop jar /usr/joe/wordcount.jar org.myorg.WordCount /usr/joe/wordcount/input /usr/joe/wordcount/output会抛异常

Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/linzm/wordcount/input already exists

        at org.apache.hadoop.mapred.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:125)

        at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:375)

        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:334)

 问题分析：事实上input目录是作为输入，是肯定要的，而Main类已经在jar报中定义了

 处理方法：可以运行的结果命令如下hadoop jar wordcount.jar wordcount/input wordcount/output

 

6、最后是备忘，默认启动的时候NameNode与DataNode管理端口为：

NameNode：http://localhost:50070/，基本功能：列出当前cluster的DataNodes，cluster的基本信息，还可以浏览HDFS文件系统

JobTracker - http://localhost:50030/，基本功能：管理MapReduce

 

更多信息请查看 java进阶网 http://www.javady.com