hadoop开发环境搭建的几点经验

ls0398

Hadoop的安装和配置都比较简单，但是想要真正的用eclipse进行开发的话还是有些麻烦的，有很多的地方都需要注意。下面我就把我遇到的一些问题以及解决方法分享下：


1、配置hadoop的配置文件不能够用localhost等，必须要用真实的ip否则，程序连接hadoop的时候会连接不上。主要是hadoop/conf 下的四个文件：core-site.xml、mapred-site.xml、masters、slaves。如果你的程序出现java.net.ConnectException:connection refused:no further information。除了要检查你配置m/r和dfs的ip、端口、user等还要检查以上的四个文件的ip是否配置正确。
2、当你的maprep/system下出现Error：org .apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=READ_EXECUTE, inode=”system”:……此时检查你配置的hadoop.job.gui配置的是否正确，一般为root,Tardis。root为操作hadoop的linux用户。
3、如果你使用的windows进行hadoop的开发而hadoop安装在其他的linux服务器上，这样你就需要在你的系统上安装一个cygwin。否则程序会提示不能够执行某些linux的指令。
4、配置你本地的host，这个很重要，需要把你的host中配置namenode的Ip。否则你很可能会在连接hadoop的文件系统上很苦恼。
5、如果你测试wordcount的时候总是过不去，提示input文件找不到，这你就需要看看你的参数是否给出的正确。hdfs://hadoop:9000/user/root/input这个格式才是正确的格式。

以上总结纯属入门级别，大家如果看着水平不咋地也不骂，本人水平一般写不出啥有营养的东西。如果有哪位大神愿意指点在下，小弟将不甚感激！