中国网络水泥 发表于 2016-12-7 06:31:23

编译eclipse下的hadoop插件

  操作系统为ubuntu14.0  
  eclipse版本为4.4
  hadoop版本为hadoop-1.2.1
  hadoop环境为本地的伪分布是环境。
  网络上虽然有很多的hadoop-x.xx.x-eclipse-plugin.jar包,但是很多时候跟你的eclipse版本并不匹配,所以自己编译eclipse插件就很必要。
  hadoop eclipse 插件的源代码位于$HADOOP_HOME/src/contrib/eclipse-plugin 下面。 
  当然不能直接编译,编译之前需要对相关文件进行修改(首先你要有ant,没有的话需要下载并配置)
  1 修改build.xml
  打开eclipse-plugin下面的build.xml, 添加一些properties.如下,第一个为Hadoop的版本,ant下会使用到这个版本来打开获取一些JAR包,所以这个版本要跟你的hadoop版本一致,hadoop目录下的jar包名称也不能够修改,不然会导致找不到jar包,第二个参数是配置eclipse.home的值

[*]  <property name='version' value='1.1.2'/>  
[*]  <property name='eclipse.home' location='/home/cheney/soft/eclipse'/>  
  接下来在 classpath下添加上hadoop目录下的所有jar包,不然编译的时候会找不到很多类

[*] <path id="classpath">  
[*]   <fileset dir="${hadoop.root}">  
[*]    <include name="*.jar"/>  
[*]   </fileset>  
[*]    <path refid="eclipse-sdk-jars"/>  
[*]  </path>  
  接着修改,(注意默认配置下,hadoop-core-${version}.jar包在Hadoop根目录下,但是配置文件中却指向了hadoop根目录下的build目录下,所以如果不修改xml配置文件去掉build的话,那么就需要在hadoop下简历build目录,并拷贝根目录下的hadoop-core-${version}.jar到build目录,,同样默认配置下commons-cli-1.2.jar取包位置也不是在根目录下的lib下,而hadoop1.2.1是放在lib下的 也需要修改,而且还要添加很多的jar包进来)修改xml配置文件进行添加是,注意别写错了版本,导致找不到jar文件

[*]  <target name="jar" depends="compile">  
[*]    <mkdir dir="${build.dir}/lib"/>  
[*]    <copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>  
[*]    <copy file="${hadoop.root}/lib/commons-cli-1.2.jar"  todir="${build.dir}/lib" verbose="true"/>  
[*]    <copy file="${hadoop.root}/lib/commons-configuration-1.6.jar"  todir="${build.dir}/lib" verbose="true"/>  
[*]    <copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar"  todir="${build.dir}/lib" verbose="true"/>  
[*]    <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar"  todir="${build.dir}/lib" verbose="true"/>  
[*]    <copy file="${hadoop.root}/lib/commons-lang-2.4.jar"  todir="${build.dir}/lib" verbose="true"/>  
[*]    <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar"  todir="${build.dir}/lib" verbose="true"/>  
[*]    <jar  
[*]      jarfile="${build.dir}/hadoop-${name}-${version}.jar"  
[*]      manifest="${root}/META-INF/MANIFEST.MF">  
[*]      <fileset dir="${build.dir}" includes="classes/ lib/"/>  
[*]      <fileset dir="${root}" includes="resources/ plugin.xml"/>  
[*]    </jar>  
[*]  </target>
  2 修改 eclipse-plugin目录下/META-INF/下的MANIFEST.MF,默认情况下MANIFEST.MF文件下的bundle-ClassPath只有如下所示
  Bundle-ClassPath: classes/,
   lib/hadoop-core.jar
  没有包含所有的需要的jar包,需要修改为:
  Bundle-ClassPath: classes/,
   lib/hadoop-core.jar,
   lib/commons-cli-1.2.jar,
   lib/commons-configuration-1.6.jar,
   lib/commons-httpclient-3.0.1.jar,
   lib/commons-lang-2.4.jar,
   lib/commons-jackson-core-asl-1.8.8.jar,
   lib/commons-jackson-mapper-asl-1.8.8.jar
  注意jar包的文件名不要写错,因为你的Hadoop可能跟我的hadoop使用的版本不同,导致文件名也不同,需要修改
  以上修改完后,就可以进行ant了,切换到eclipse-plugin下ant即可,完成后,拷贝到eclipse下的plugins下,重启eclipse即可
  存在的问题:
  1 网上很多人写的文章中没有配置过第二步,没有第二步也能编译出来plugin jar包,但是在使用的时候会报错,说找不到Configuration类等,虽然你将需要的jar一起打包到了plugin jar包里面,但是因为你没有在MANIFEST.MF引用,还是不会加载。ubuntu下打完jar包在进行修改MANIFEST.MF也不行,可能是因为文件修改后文件MD5不对了导致他还是使用以前的还是什么其他原因,反正不会生效。window下是否可以没有进行测试。所以最好开始的时候就把jar包给配置好,这样就不会出很多问题了。
  2 本人配置过eclipse4.4 加 hadoop 0.20.11U版本的plugin,除了以上步骤外,还需要修改
$HADOOP_HOME/src/contrib/eclipse-plugin/src/java/org/apache/hadoop/eclipse/launch/HadoopApplicationLaunchShortcut.java
 view plaincopy 



[*]import org.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;  

改为
 view plaincopy 



[*]import org.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;

  但是eclipse3.3 + hadoop0.20.x则不需要修改以上代码,而且还需要在path初将json.jar包导入才行
页: [1]
查看完整版本: 编译eclipse下的hadoop插件