编译eclipse下的hadoop插件

中国网络水泥

　　操作系统为ubuntu14.0  
　　eclipse版本为4.4
　　hadoop版本为hadoop-1.2.1
　　hadoop环境为本地的伪分布是环境。
　　网络上虽然有很多的hadoop-x.xx.x-eclipse-plugin.jar包，但是很多时候跟你的eclipse版本并不匹配，所以自己编译eclipse插件就很必要。
　　hadoop eclipse 插件的源代码位于$HADOOP_HOME/src/contrib/eclipse-plugin 下面。 
　　当然不能直接编译，编译之前需要对相关文件进行修改（首先你要有ant，没有的话需要下载并配置）
　　1 修改build.xml
　　打开eclipse-plugin下面的build.xml, 添加一些properties.如下，第一个为Hadoop的版本，ant下会使用到这个版本来打开获取一些JAR包，所以这个版本要跟你的hadoop版本一致，hadoop目录下的jar包名称也不能够修改，不然会导致找不到jar包，第二个参数是配置eclipse.home的值

•   <property name='version' value='1.1.2'/>  
  
•   <property name='eclipse.home' location='/home/cheney/soft/eclipse'/>  
  

　　接下来在 classpath下添加上hadoop目录下的所有jar包，不然编译的时候会找不到很多类

•  <path id="classpath">  
  
•    <fileset dir="${hadoop.root}">  
  
•     <include name="*.jar"/>  
  
•    </fileset>  
  
•     <path refid="eclipse-sdk-jars"/>  
  
•   </path>  
  

　　接着修改，（注意默认配置下，hadoop-core-${version}.jar包在Hadoop根目录下，但是配置文件中却指向了hadoop根目录下的build目录下,所以如果不修改xml配置文件去掉build的话，那么就需要在hadoop下简历build目录，并拷贝根目录下的hadoop-core-${version}.jar到build目录,，同样默认配置下commons-cli-1.2.jar取包位置也不是在根目录下的lib下，而hadoop1.2.1是放在lib下的 也需要修改，而且还要添加很多的jar包进来）修改xml配置文件进行添加是，注意别写错了版本，导致找不到jar文件

•   <target name="jar" depends="compile">  
  
•     <mkdir dir="${build.dir}/lib"/>  
  
•     <copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>  
  
•     <copy file="${hadoop.root}/lib/commons-cli-1.2.jar"  todir="${build.dir}/lib" verbose="true"/>  
  
•     <copy file="${hadoop.root}/lib/commons-configuration-1.6.jar"  todir="${build.dir}/lib" verbose="true"/>  
  
•     <copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar"  todir="${build.dir}/lib" verbose="true"/>  
  
•     <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar"  todir="${build.dir}/lib" verbose="true"/>  
  
•     <copy file="${hadoop.root}/lib/commons-lang-2.4.jar"  todir="${build.dir}/lib" verbose="true"/>  
  
•     <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar"  todir="${build.dir}/lib" verbose="true"/>  
  
•     <jar  
  
•       jarfile="${build.dir}/hadoop-${name}-${version}.jar"  
  
•       manifest="${root}/META-INF/MANIFEST.MF">  
  
•       <fileset dir="${build.dir}" includes="classes/ lib/"/>  
  
•       <fileset dir="${root}" includes="resources/ plugin.xml"/>  
  
•     </jar>  
  
•   </target>
  

　　2 修改 eclipse-plugin目录下/META-INF/下的MANIFEST.MF，默认情况下MANIFEST.MF文件下的bundle-ClassPath只有如下所示
　　Bundle-ClassPath: classes/,
　　 lib/hadoop-core.jar
　　没有包含所有的需要的jar包，需要修改为：
　　Bundle-ClassPath: classes/,
　　 lib/hadoop-core.jar,
　　 lib/commons-cli-1.2.jar,
　　 lib/commons-configuration-1.6.jar,
　　 lib/commons-httpclient-3.0.1.jar,
　　 lib/commons-lang-2.4.jar,
　　 lib/commons-jackson-core-asl-1.8.8.jar,
　　 lib/commons-jackson-mapper-asl-1.8.8.jar
　　注意jar包的文件名不要写错，因为你的Hadoop可能跟我的hadoop使用的版本不同，导致文件名也不同，需要修改
　　以上修改完后，就可以进行ant了，切换到eclipse-plugin下ant即可，完成后，拷贝到eclipse下的plugins下，重启eclipse即可
　　存在的问题：
　　1 网上很多人写的文章中没有配置过第二步，没有第二步也能编译出来plugin jar包，但是在使用的时候会报错，说找不到Configuration类等，虽然你将需要的jar一起打包到了plugin jar包里面，但是因为你没有在MANIFEST.MF引用，还是不会加载。ubuntu下打完jar包在进行修改MANIFEST.MF也不行，可能是因为文件修改后文件MD5不对了导致他还是使用以前的还是什么其他原因，反正不会生效。window下是否可以没有进行测试。所以最好开始的时候就把jar包给配置好，这样就不会出很多问题了。
　　2 本人配置过eclipse4.4 加 hadoop 0.20.11U版本的plugin，除了以上步骤外，还需要修改
$HADOOP_HOME/src/contrib/eclipse-plugin/src/java/org/apache/hadoop/eclipse/launch/HadoopApplicationLaunchShortcut.java
[java] view plaincopy 

• import org.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;  
  

改为
[java] view plaincopy 

• import org.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;
  

　　但是eclipse3.3 + hadoop0.20.x则不需要修改以上代码，而且还需要在path初将json.jar包导入才行