eclipse与Hadoop集群连接

xiaoyu28

一、安装这个插件很简单，把 hadoop-eclipse-plugin-2.2.0 个文件copy到eclipse的eclipse\plugins
目录下，然后启动eclipse就算完成安装了。
、在左边的 project explorer 上头会有一个 DFS locations的标志
2、在 windows -> preferences里面会多一个hadoop map/reduce的选项，选中这个选项，然后右边，把下载的hadoop根目录选中
（windows上的hadoop只是为了调用里面的jar包）
如果能看到以上两点说明安装成功了。
二、在windows的"C:\Windows\System32\drivers\etc\hosts"路径下加入以下内容：
192.168.80.101 hadoop1
192.168.80.102 hadoop2
192.168.80.103 hadoop3

三、插件安装后，配置连接参数
插件装完了，启动hadoop，然后就可以建一个hadoop连接了，
第一步，打开Map/Reduce Locations 视图，在右上角有个大象的标志点击
第二步，在点击大象后弹出的对话框进行进行参数的添加：
location name: 这个随便填写，我填写的是：hadoop
Map/Reduce(V2) Master 这个框里
Host：就是jobtracker 所在的集群机器，这里写hadoop1（这里可以写主机名，因为前面已经加了主机映射。）
Hort：就是jobtracker 的port，这里写的是8032
这两个参数就是yarn-site.xml里面的 yarn.resourcemanager.address 里面mapred.job.tracker里面的ip和port
DFS Master 这个框里
Host：就是namenode所在的集群机器，这里写hadoop1
Port：就是namenode的port，这里写9000
这两个参数就是core-site.xml里面fs.defaultFS里面的ip和port
（Use M/R master host，这个复选框如果选上，就默认和Map/Reduce Master这个框里的host一样，如果不选择，就可以自己定义输入，这里jobtracker 和namenode在一个机器上，所以是一样的，就勾选上）
user name：这个是连接hadoop的用户名，因为我是用root用户安装的hadoop，而且没建立其他的用户，所以就用root。
下面的不用填写。然后点击finish按钮，此时，这个视图中就有多了一条记录。
第三步，重启eclipse并重新编辑刚才建立的那个连接记录，如图现在我们编辑advance parameters tab页
dfs.replication：这个这里默认是3，

dfs.data.dir 改为 /nosql/hadoop1/data
hadoop.tmp.dri 改为 /tmp/hadoop1-root
然后点击finish，DFS Locations下面会有一只大象，下面会有一个文件夹，即 hdfs的根目录，这里就是展示的分布式文件系统的目录结构了。
右击"hadoopàuseràroot"可以尝试建立一个"文件夹--test"，然后右击刷新就能查看我们刚才建立的文件夹。