Hadoop分布式文件系统--HDFS

yuxing

一、配置伪分布模式：
1.配置伪分布式，需要修改$HADOOP_HOME/conf下的三个文件：core-site.xml、hdfs-site.xml和mapred-site.xml。

组件名称	配置文件	属性名称	伪分布模式值
Common	core-site.xml	fs.default.name	hdfs://localhost/
HDFS	hdfs-site.xml	dfs.replication	1
Mapreduce	mapred-site.xml	mapred.job.tracker	localhost:8021

2.配置SSH（参见上一篇文章）
3.格式化HDFS文件系统
hadoop namenode -format
4.开启hdfs和mapreduce服务：
cd $HADOOP_HOME/bin
sh start-dfs.sh
sh start-mapred.sh
5.使用hadoop fs 命令
（1）从本地向hdfs服务器上传文件。
hadoop fs -copyFromLocal 1901 /user/root/1901.txt
其中，/user/root/1901.txt是默认路径，还有其他两种写法分别是hdfs://localhost/user/root/1901.txt 或者 1901.txt
（2）从hdfs服务器拷贝文件到本地
hadoop fs -copyToLocal hdfs://localhost/user/root/1901.txt 1901.txt
（3）hdfs服务器上创建目录。
hadoop fs -mkdir book
（4）hdfs服务器上列出目录。
hadoop fs -ls .
二、Hadoop HDFS的Filesystem类：
（1）URLCat.java:

/**
*
*/
package com.hadoop.mn;
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
/**
* @author Chase_Sun
* 从Hadoop URL中读取数据，使用Java.net.URL对象打开数据流，进而读取数据。
* 如果程序的其他组件已经声明了一个URLStreamHandlerFactory的实例，将无法再用这种方法从Hadoop中读取数据。  
*
*/
public class URLCat {
static{
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}
/**
* @param args[0]  要读取的文件在hdfs服务器上的网络地址，例如：hdfs://localhost/user/root/qualify.txt
*/
public static void main(String[] args) throws Exception{
// TODO Auto-generated method stub
InputStream in = null;
try{
in = new URL(args[0]).openStream();
IOUtils.copyBytes(in, System.out, 4096, false);
}
finally{
IOUtils.closeStream(in);
}
}
}

执行这个类：
hadoop com/hadoop/mn/URLCat hdfs://localhost/user/root/qulify.txt
运行结果：
He sits on the top of tree
but he dose not to get down.
I am so scared of that.