Hadoop之安装配置及测试案例

xinghe0

　　

关于hadoop的一些介绍和原理，在此不做任何描述，只讲实际应用。对于Hadoop来说，在HDFS看来，节点分为Namenode 和Datanode，其中Namenode只有一个，Datanode可以是很多；在MapReduce看来，节点又分为Jobtracker和 Tasktracker，其中Jobtracker只有一个，Tasktracker可以是很多。在此，所有的节点我都部署在一台机器上的。1、 安装：解压缩文件包

tar xfzv file.tgz

2、 配置：进入conf目录，修改配置文件。

1） 

hadoop-env.sh

中的 JAVA_HOME【export JAVA_HOME=/usr/lib/jvm/java】

2） 

hadoop-site.xml

见附录。hadoop-default.xml中包含了Hadoop的所有配置项，但是不允许直接修改！可以在hadoop-conf/目录下的hadoop-site.xml里面定义我们需要的项，其值会覆盖hadoop-default.xml中的默认值，可以根据自己的实际需要来进行定制。

3、 

bin/hadoop namenode -format 

格式化namenode，提示信息如下：

[JRockit] Local management server started.

09/07/29 10:07:44 INFO dfs.NameNode: STARTUP_MSG:STARTUP_MSG: Starting NameNode

STARTUP_MSG: host = localhost.localdomain/127.0.0.1

STARTUP_MSG: args = [-format]

STARTUP_MSG: version = 0.18.3

STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 200909/07/29 10:07:44 INFO fs.FSNamesystem: fsOwner=root,root,bin,daemon,sys,adm,disk,wheel

09/07/29 10:07:44 INFO fs.FSNamesystem: supergroup=supergroup

09/07/29 10:07:44 INFO fs.FSNamesystem: isPermissionEnabled=true

09/07/29 10:07:44 INFO dfs.Storage: Image file of size 78 saved in 0 seconds.

09/07/29 10:07:45 INFO dfs.Storage: Storage directory /root/hadoop-0.18.3/filesystem/name has been successfully formatted.

09/07/29 10:07:45 INFO dfs.NameNode: SHUTDOWN_MSG:SHUTDOWN_MSG: Shutting down NameNode at localhost.localdomain/127.0.0.14、 

bin/start-all.sh

 启动所有守护进程

bin/stop-all.sh 

停止所有守护进程

start-mapred.sh

 启动Map/Reduce守护。包括Jobtracker和Tasktrack

stop-mapred.sh

 停止Map/Reduce守护

start-dfs.sh

 启动Hadoop DFS守护.Namenode和Datanode

stop-dfs.sh

 停止DFS守护

5、 

bin/hadoop dfs -mkdir testdir 

建立目录，这个目录并不是实际目录

6、 

bin/hadoop dfs -put conf/hadoop-default.xml testdir

 复制文件

有时，当你申请到一个HOD集群后马上尝试上传文件到HDFS时，DFSClient会警告NotReplicatedYetException。通常会有一个如下报错信息。

org.apache.hadoop.ipc.RemoteException: java.io.IOException File /root/testdir/hadoop-default.xml could only be replicated to 0 nodes, instead of 1

at org.apache.hadoop.dfs.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1123)

at org.apache.hadoop.dfs.NameNode.addBlock(NameNode.java:330)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:481)

at org.apache.hadoop.ipc.Server$Handler.run(Server.java:890)

at org.apache.hadoop.ipc.Client.call(Client.java:716)

at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:216)

at org.apache.hadoop.dfs.$Proxy0.addBlock(Unknown Source)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)

at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)

at org.apache.hadoop.dfs.$Proxy0.addBlock(Unknown Source)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:2450)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2333)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1800(DFSClient.java:1745)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1922)

……不幸的是我也遇到了这个报错，google了很久才找到一个解决方案：

当你向一个DataNodes正在和NameNode联络的集群上传文件的时候，这种现象就会发生。在上传新文件到HDFS之前多等待一段时间就可以解决这个问题，因为这使得足够多的DataNode启动并且联络上了NameNode。

果然，很有效！

7、 

bin/hadoop dfs -ls testdir

 查看现有文件

8、 

bin/hadoop dfs -cat testdir/hadoop-default.xml

 查看文件内容

9、 

bin/hadoop jar hadoop-0.18.3-examples.jar wordcount testdir test-out 

执行分布式统计词

10、

bin/hadoop dfs -ls test-out bin/hadoop dfs -cat /user/root/test-out/part-00000

 查看统计结果tracker. 2

tracking 1

transfers 1

trash 2

trigger 1

triggers 1

true 4

true, 4

try 2

turned 1

two 1

type="text/xsl" 1

typically 1

ui 1

unchanged. 2

under 2

under/over 1

unspecified 1至此，hadoop安装、配置、测试已走了一通。当然这其中还有些问题我并未过问的，比如

SSH设置

，没进行该设置，会导致运营hadoop过程中会提示需要输入密码，比较麻烦，把ssh配置好了，各个节点之间打通了，就不会出现这种问题了。

　　

更多信息请查看

 java进阶网

 

http://www.javady.com