hadoop学习笔记-基于hdfs搭建简单网盘应用

wendu

hadoop学习笔记-基于hdfs搭建简单网盘应用
Hadoop的eclipse插件安装：
在基于已经搭建好的hadoop的简单集群之后，我便思考在此基础上搭建一个hadoop的应用，以及方便后续对hadoop的一个学习平台。首先在搭建之前，需要对master节点的防火墙进行开放，以防止在windows的开发环境下访问不了master的hadoop环境。
为了测试在windows的eclipse里面能否访问hadoop，我们将下载最新的eclipse-juno版本。下载地址：http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/juno/SR1/eclipse-jee-juno-SR1-win32.zip&url=http://mirror.bit.edu.cn/eclipse/technology/epp/downloads/release/juno/SR1/eclipse-jee-juno-SR1-win32.zip&mirror_id=1082
然后在hadoop1.0.4的安装文件的usr\share\hadoop\contrib\eclipse-plugin里面有一个hadoop-eclipse-plugin-1.0.4.jar，此时还不能将这个jar包直接放到eclipse的plugin里面去，因为还缺少必要的jar包。在usr\share\hadoop\lib目录下找到jackson-mapper-asl-1.8.8.jar，jackson-core-asl-1.8.8.jar，hadoop-core.jar，commons-lang-2.4.jar，commons-httpclient-3.0.1.jar，commons-configuration-1.6.jar，commons-cli-1.2.jar的jar包，放入hadoop-eclipse-plugin-1.0.4.jar里面的lib目录下，此时在将这个jar包放到eclipse的plugin里面去，启动eclipse，便安装成功hadoop的插件。
启动eclipse之后，进入window->open perstective->other,

点击Map/reduce选项，点击OK，便进入如下视图：

将会看到如下视图。在Map/reduce location里面右击，点击New Hadoop location

输入完之后点击finish即可。
此时会在Map/Reduce location的窗口中看到多了一个大象的图标，这个就是刚刚配置的hadoop。那么在Project explorer中的DFS location中有一个刚刚建立的hadoop。此时放回可能会提示权限不够，那么此时需要在master节点的hdfs-site.xml中加入：
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>
If “true”, enable permission checking in HDFS.
If “false”, permission checking is turned off,
but all other behavior is unchanged.
Switching from one parameter value to the other does not change the mode,
owner or group of files or directories.
</description>
</property>
那么你就可以完全在eclipse中对hadoop的文件系统进行操作了。如下：

此时表示eclipse端的访问hadoop已经完毕了。
那么下一步搭建一个基于hdfs的网盘应用。
基于hdfs的网盘应用
详细内容请移步到：点击打开链接