hadoop集群上传下载文件

shangban

在过年前夕我们小组就开始研究云计算了，之前都是在搭建云平台，配置hadoop集群环境，出现各种问题，各种不解，最终还是成功搭建了由10台机器组成的hadoop集群环境！由于写这篇技术博客的时候没有网络，暂时就不写搭建环境的步骤了，下面就在hadoop集群上运行的程序进行分析吧！
我们知道云计算应用中就有文件的上传和下载，我们提交任务到云端，让云端帮我们完成任务，下面就分析一下代码吧！
要在Hadoop集群进行操作，就应该用hadoop自己的一套api，只要我们和云端的hadoop集群连接上并用这套api编程，就可以享受云服务了！
　　文件的上传和下载最主要的就是org.apache.hadoop.fs FileSystem抽象类和org.apache.hadoop.conf Configuration类，再看看FileSystem的源代码：
public abstract class FileSystem extends Configured implements Closeable {
Hadoop集群上的文件系统也是与Configuration有关的，我们将这个类写进代码中，云端根据响应的api找到配置执行任务。
上传文件的代码：

//写入数据：从本机到云端（存储）
private static void uploadToHdfs() throws FileNotFoundException,IOException{
//我的文件地址
String localSrc = "H://Reading/Google_三大论文中文版.pdf";
//存放在云端的目的地址
String dest = "hdfs://192.168.1.11:9000/usr/Google_三大论文中文版.pdf";
InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
//得到配置对象
Configuration conf = new Configuration();
//文件系统
FileSystem fs = FileSystem.get(URI.create(dest), conf);
//输出流
OutputStream out = fs.create(new Path(dest), new Progressable() {
@Override
public void progress() {
System.out.println("上传完一个设定缓存区大小容量的文件！");
}
});
//连接两个流，形成通道，使输入流向输出流传输数据
IOUtils.copyBytes(in, out, 4096,true);
}
 
　　下载文件的代码：
　　
//读入数据：从云端到本机（提取数据）
private static void readFromHdfs()throws FileNotFoundException,IOException{
//云端地址
String dest = "hdfs://192.168.1.11:9000/usr/Google_三大论文中文版.pdf";
//我的目录地址
String mySrc = "H://Google_三大论文中文版.pdf";
//得到配置
Configuration conf = new Configuration();
//实例化文件系统
FileSystem fs = FileSystem.get(URI.create(dest), conf);
//读出流
FSDataInputStream hdfsInStream = fs.open(new Path(dest));
//写入流
OutputStream out = new FileOutputStream(mySrc);
//将InputStrteam 中的内容通过IOUtils的copyBytes方法复制到out中
IOUtils.copyBytes(hdfsInStream, out, 4096,true);
}



　　这是一个小小的开端，今年要开始认真研究了！