二、hadoop文件操作
1、使用hadoop命令查看hdfs下文件# hadoop fs -ls hdfs://192.168.211.129:9000/(最后一定要加/)
开始在xshell上执行这条命令失败，使用netstat -nltp命令查看监听的9000端口，是127.0.0.1:9000，没有找到办法更改这个监听的IP和端口
后来就把etc/hadoop/core-site.xml配置下的localhost改为192.168.211.129，保存配置重启HDFS，使用上面命令还是不行，重启系统后再启动hdfs和yarn，再用上面命令就不报错了，命令执行后没有任何反应，那是因为没有在HDFS系统上存文件
2、上传文件到HDFS系统，例子中上传/jdk-7u80-linux-x64.rpm文件
# hadoop fs -put /jdk-7u80-linux-x64.rpmhdfs://192.168.211.129:9000/
上传完成后再查看hdfs下文件
hadoop fs -ls -h hdfs://192.168.211.129:9000//或hadoop fs -ls -h /
# hadoop fs -ls /
Found 1 items -rw-r--r-- 1 root supergroup 131.7 M 2017-04-19 00:00 /jdk-7u80-linux-x64.rpm
这个上传的文件就被切割成块分别存放在datanode节点上了，由于都在同一台服务器上，那么文件被分的块在路径
/home/hadoop/hadoop-2.7.2/tmp/dfs/data/current/BP-2144136712-127.0.0.1-1492526252533/current/finalized/subdir0/subdir0
进入到该目录可以查看到相关的块信息：
# ll
总用量 135916
-rw-r--r--. 1 root root 134217728 4月19 00:00 blk_1073741825
-rw-r--r--. 1 root root 1048583 4月19 00:00 blk_1073741825_1001.meta
-rw-r--r--. 1 root root 3872558 4月19 00:00 blk_1073741826
-rw-r--r--. 1 root root 30263 4月19 00:00 blk_1073741826_1002.meta
# pwd
/home/hadoop/hadoop-2.7.2/tmp/dfs/data/current/BP-2144136712-127.0.0.1-1492526252533/current/finalized/subdir0/subdir0
#
3、下载HDFS系统文件
hadoop fs -get hdfs://192.168.211.129:9000/jdk-7u80-linux-x64.rpm或hadoop fs -get /jdk-7u80-linux-x64.rpm
先用ll命令查看当前文件夹下不存在该文件，下载后再查看，该文件已被下载
# ll total 4 -rw-r--r--. 1 root root8252 4月17 23:28 install.log.syslog
# hadoop fs -get hdfs://192.168.211.129:9000/jdk-7u80-linux-x64.rpm
# ll
总用量 134904
-rw-------. 1 root root 998 Sep 26 17:58 anaconda-ks.cfg
-rw-r--r--. 1 root root 138090286 4月19 00:15 jdk-7u80-linux-x64.rpm
#
4、使用mapreduce算法统计单词数量，一般是在Java程序中使用的，这次就直接在hadoop安装目录下mapreduce下的Java例子中实验
1）、首先切换到mapreduce路径下：cd /home/hadoop/hadoop-2.7.2/share/hadoop/mapreduce会看到 hadoop-mapreduce-examples-2.7.2.jar文件
2）、新建一个测试文件，并填写测试数据：vi test.data 里面随便写入英文单词如，Youth is not a time of life; it is a state of mind; it is not a matter of rosy cheeks, red lips and supple knees; it is a matter of the will, a quality of the imagination, a vigor of the emotions; it is the freshness of the deep springs of life.
保存后上传到HDFS系统中
3）、在HDFS系统中新建文件夹存放测试数据：
# hadoop fs -mkdir /test
# hadoop fs -mkdir /test/testdata
# hadoop fs -put test.data /test/testdata
# hadoop fs -ls /
Found 2 items
-rw-r--r-- 1 root supergroup 181310701 2017-04-19 15:35 /jdk-7u80-linux-x64.rpm
drwxr-xr-x - root supergroup 0 2017-04-19 15:35 /test
#
4）、执行单词统计操作，/test/output为输出路径
# hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount /test/testdata /test/output
5）、查看输出结果
# hadoop fs -ls /test/output
Found 2 items
-rw-r--r-- 1 root supergroup 0 2017-04-19 15:35 /test/output/_SUCCESS
-rw-r--r-- 1 root supergroup 223 2017-04-19 15:35 /test/output/part-r-00000
# hadoop fs -cat /test/output/part-r-00000
Youth 1
a 6
and 1
cheeks, 1
deep 1
emotions; 1
freshness 1
imagination, 1
is 5
it 4
knees; 1
life. 1
life; 1
lips 1
matter 2
mind; 1
not 2
of 8
quality 1
red 1
rosy 1
springs 1
state 1
supple 1
the 5
time 1
vigor 1
will, 1
页:
[1]