Hadoop与FTP、HTTP协议的文件存取性能对比试验
1.实施步骤：a) 编写测试代码，将本地样本文件复制到Hadoop分布式文件系统中；
b) 编写测试代码，从Hadoop分布式文件系统中将之前的样本文件取回到本地；
c) 编写测试代码，将本地样本文件上传到远程的FTP服务器上（将10.7.111.220作为FTP服务器）；
d) 编写测试代码，将远程FTP服务器上的样本文件下载到本地（将10.7.111.220作为HTTP服务器）；
e) 编写测试代码，将本地样本文件通过httpclient类库上传到HTTP服务器上；
f) 编写测试代码，将HTTP服务器上的文件下载到本地；
2.实验结果：
操作项目
总耗时(ms)
平均耗时(ms)
Hadoop DFS 复制文件(执行100次)
18223
182
Hadoop DFS 取回文件(执行100次)
18459
184
FTP上传文件(执行100次)
24350
243
FTP下载文件(执行100次)
19554
195
HTTP PUT文件(执行20次)
131700
6585
HTTP GET文件(执行20次)
156172
7808
3.结论：
通过上述表格可以明显的得出结论：在实际的应用程序开发中不推荐使用HTTP协议进行远程文件的存取（由于耗时太长，所以只进行了20次的执行），FTP和Hadoop DFS协议都表现出很好的远程文件存取性能，不过做为结构化或非结构化数据的存储方案，我更推荐使用Hadoop DFS，因为Hadoop有更强的水平扩展能力，能够保障平滑的存储空间升级。因此Hadoop DFS完全可以替换FTP成为各种应用程序之间的文件共享实现方案。
页:
[1]