Linux下Hadoop Eclipse插件编译安装
转载自:http://www.cnblogs.com/kinuxroot/archive/2013/05/06/linux_hadoop_eclipse_plugin.html在RedHat,hadoop1.1.2下测试通过。有些地方注明详细了。
刚刚开始研究Hadoop,在写Map Reduce程序的时候觉得用vim不够用,于是想在Eclipse下面配置一下相关的环境。
按照Hadoop in Action的说法,本来想用Hadoop Studio,但是发现现在只有30天的试用版,于是找了一下,发现Hadoop本身有带Eclipse的插件,于是觉得可以用一下。 不过又发现Hadoop的Eclipse插件现在没有二进制版直接提供,只能自己编译。不过要注意,一定要下载Hadoop的src包,不然是不带源代码的。
编译部署中间碰到了一点问题,记录下来。
首先,讲一下系统环境,Linux的发行版是Linux Mint 14,Hadoop版本是1.1.2。
我的hadoop安装在/home/kinuxroot/apps/hadoop-1.1.2下面(hadoop的根路径),所以源代码的目录是hadoop根路径下的src/contrib/eclipse-plugin。
Eclipse安装路径是/home/kinuxroot/apps/eclipse。
接下来我们来讲一下具体如何编译。
我们进入hadoop根路径下的src/contrib/eclipse-plugin,然后修改一下build.xml。
具体做如下修改:
1.先要加入eclipse的设定和hadoop的版本设定,我的eclipse安装在/home/kinuxroot/apps/eclipse下,所以我们要修改为:
这一步,location中的路径请大家根据各自的实际路径进行修改。
2.我们需要引用hadoop的一些包,但是默认的classpath没有这些包(我们没有从头编译)。所以需要修改classpath
定位,加入:
3.代码中使用了一些遗留功能,所以我们要修改deprecation的设定。
打开hadoop根路径下面的src/contrib/build-contrib.xml,定位
然后修改成
4.修改includeantruntime设置。定位compile的target,修改javac的设置,加入一个选项
includeantruntime="on"
也就是将javac修改成
http://common.cnblogs.com/images/copycode.gifhttp://common.cnblogs.com/images/copycode.gif
5.jar打包的时候需要hadoop的一些jar文件,但是我们没有编译生成它,所以我们需要修改一下jar这个target。
另外,有几个jar是我们需要用到,而build.xml里面没有自动包含的,如果不包含它们,Eclipse连接Hadoop会出现failure to login错误,其实就是找不到类
找到
我们修改成
http://common.cnblogs.com/images/copycode.gifhttp://common.cnblogs.com/images/copycode.gif
6.但是这样,我们的jar文件还是不会自动部署到eclipse中,你可以手动复制,但是我们希望ant帮我们自动部署进去。
我们新建一个target,用来部署:
然后修改project的默认target,也就是将project修改成:
7.接下来一步我们要修改Hadoop根目录下的src/contrib/eclipse-plugin/META-INF,修改这个jar的classpath。
找到这个文件的Bundle-ClassPath这一行,然后,修改成
Bundle-ClassPath:> 8.执行ant,代码就会被编译,插件会被自动安装到eclipse的plugins目录中,打开eclipse就可以使用了(如果没有安装ant,
请去apache观望下载ant的二进制编译版)。另外编译时会自动联网下载需要的包,所以请保证网络通畅。
注:在src/contrib/eclipse-plugin/目录下执行:
/usr/local/apache-ant-1.9.3/bin/ant
一定是要root根用户权限下执行上面的ant命令!
最后,我把我的build.xml贴在下面,大家可以参考:
http://common.cnblogs.com/images/copycode.gif
页:
[1]