实验室要做一个hadoop上传文件性能测试，自己用实验室破电脑做了个简单的测试

lygyh9985825

　　硬件环境：
　　实验室的3台老机器组成的集群，配置：
　　NameNode：
　　CPU:
　　Intel(R)Pentium(R)DualCPUE2160@1.80GHz
　　size:1800MHz
　　capacity:1800MHz
　　width:64bits
　　clock:200MHz
　　Memory:
　　size:2GiB
　　width:64bits
　　Network:
　　description:Ethernetinterface
　　product:RTL-8139/8139C/8139C+
　　endor:RealtekSemiconductorCo.,Ltd.
　　size:100Mbit/s
　　capacity:100Mbit/s
　　width:32bits
　　clock:33MHz
　　DISK:
　　description:ATADisk
　　product:ST3160815AS
　　vendor:Seagate
　　size:149GiB(160GB)
　　Slave1：
　　CPU:
　　product:Intel(R)Core(TM)2DuoCPUE7300@2.66GHz
　　vendor:IntelCorp.
　　physicalid:1
　　businfo:cpu@0
　　version:6.7.6
　　size:2650MHz
　　width:64bitsFedorarelease15(Lovelock)32bit
　　Memory:
　　description:SystemMemory
　　size:2GiB
　　width:64bits
　　clock:800MHz(1.2ns)
　　Network:
　　description:Ethernetinterface
　　product:88E8056PCI-EGigabitEthernetController
　　vendor:MarvellTechnologyGroupLtd.
　　size:100Mbit/s
　　capacity:1Gbit/s
　　width:64bits
　　clock:33MHz
　　DIsk:
　　description:ATADisk
　　product:HitachiHDP72501
　　size:149GiB(160GB)
　　capabilities:partitionedpartitioned:dos
　　Slave2：
　　CPU:
　　description:CPU
　　product:Intel(R)Core(TM)2CPU6300@1.86GHz
　　vendor:IntelCorp.
　　slot:Socket775
　　size:1600MHz
　　capacity:4GHz
　　width:64bits
　　clock:266MHz
　　MEMORY:
　　description:SystemMemory
　　size:2GiB
　　description:DIMM800MHz(1.2ns)
　　size:2GiB
　　width:64bits
　　clock:800MHz(1.2ns)
　　Network:
　　description:Ethernetinterface
　　product:RTL8111/8168BPCIExpressGigabitEthernetcontroller
　　vendor:RealtekSemiconductorCo.,Ltd.
　　size:100Mbit/s
　　capacity:1Gbit/s
　　width:64bits
　　clock:33MHz
　　Disk:
　　description:ATADisk
　　product:HitachiHDS72103
　　vendor:Hitachi
　　size:298GiB(320GB)
　　3台机器用5类线接到一台FASTFR516交换机上。
　　路由器型号：FASTFR516
　　网络标准：IEEE802.3，IEEE802.3u，IEEE802.3x，IEEE802.1X
　　网络协议：TCP/IP，DHCP，ICMP，NAT，PPPoE，SNTP
　　传输速率：10/100Mbps
　　端口结构：非模块化
　　广域网接口：1个
　　局域网接口：16个
　　接口介质：10Base-T：3类或3类以上UTP
　　100Base-TX：5类UTP
　　软件环境：
　　3台机器上都装着Fedorarelease15(Lovelock)32bit，hadoop1.0.0(，集群设置副本数量Replication=2。集群上启动了map-reduce，HDFS和SSH服务。没有运行任何其它job)
　　测试过程：
　　1.首先将hdfs的上传速度和scp的速度做对比，在集群中找了一个节点Slave1，向hdfsput一个643MB的文件（hdfs文件块64MB，2个节点，每个节点大约会有5个文件块（共11个））：
　　[hadoop@Slave1Downloads]$timehadoopfs-put2008.zip/usr/hadoop
　　real1m6.896s
　　user0m7.197s
　　sys0m2.256s
　　用了66.896秒，平均速度为9.6M/s.
　　2.再看看下载的速度，将本地的文件删除，从hdfs上get一个：
　　[hadoop@Slave1Downloads]$timehadoopfs-get/usr/hadoop/2008.zip2008.zip
　　real0m19.830s
　　user0m5.269s
　　sys0m2.311s
　　下载的速度很快，只用了19.830秒，约32.4MB/s的速度.
　　3.从该节点向另外一个节点scp该文件：
　　[hadoop@Slave1Downloads]$scp2008.ziphadoop@10.103.240.152
　　2008.zip100%643MB11.1MB/s00:58
　　real1m1.427s
　　user0m10.563s
　　sys0m2.714s
　　用了61.427秒,平均速度为10.5M/s.
　　4.再看一下Slave1在单点内文件传输效率，
　　[hadoop@Slave1Downloads]$timecp2008.zip~
　　real0m19.358s
　　user0m0.014s
　　sys0m1.201s
　　用了19.358秒，平均速度为33.2MB/s
　　显然，和Slave1单点下载HDFS文件速度差不多，估计是由于HDFS块本地化的原因。查看2008.zip文件的block分布：
　　分析：由于副本数为2，且只有Slave1和Slave2两个数据节点，因此在每个节点上都有一份完整的2008.zip文件。这样在单点下载HDFS文件时，总时间相当于本地文件复制加上与HDFS系统交互的所用的时间。
　　5.因此我们在NameNode上下载该文件：
　　[hadoop@MasterDownloads]$timehadoopfs-get/usr/hadoop/2008.zip2008.zip
　　real0m59.757s
　　user0m14.479s
　　sys0m8.009s
　　用了59.757秒，平均速度为10.7MB/s.
　　在NameNode上上传该文件：
　　[hadoop@Master~]$timehadoopfs-putDownloads/2008.zip/usr/hadoop/2008.zip
　　real1m13.005s
　　user0m10.672s
　　sys0m3.932s
　　用了73.005s,平均速度为8.8MB/s.
　　6.之前都是测试的单个文件传输速率，我们来看一下多个小文件的传输速率。
　　JarsLib文件夹是由31594个小文件组成，总共467M。
　　我们在Slave1上进行测试。首先向HDFS上传该文件：
　　[hadoop@Slave1~]$timehadoopfs-putJarsLib//usr/hadoop/JarsLib
　　real6m18.592s
　　user0m26.000s
　　sys0m11.101s
　　用了378.592秒，1.2MB/s.
　　然后我们从HDFS上下载该文件：
　　[hadoop@Slave1~]$timehadoopfs-get/usr/hadoop/JarsLib~
　　real1m11.225s
　　user0m16.483s
　　sys0m6.683s
　　用了71.225秒，平均6.5MB/s.
　　从该节点向另外一个节点scp该文件：
　　[hadoop@Slave1Downloads]$timescp-rJarsLibhadoop@10.103.240.152
　　real1m1.755s
　　user0m8.115s
　　sys0m3.579s
　　用时61.755s,平均速度7.6MB/s
　　单点内复制速度：
　　[hadoop@Slave1~]$timecp-rJarsLib/~/Downloads/
　　real0m15.001s
　　user0m0.076s
　　sys0m1.631s
　　用了15.001s,平均速度为31.3MB/s.
　　然后我们在NameNode上下载该文件：
　　[hadoop@Master~]$timehadoopfs-get/usr/hadoop/JarsLib~
　　real1m31.138s
　　user0m32.430s
　　sys0m15.251s
　　用时91.138s，平均速度5.1MB/s.
　　在NameNode上上传该文件。
　　[hadoop@Master~]$timehadoopfs-putJarsLib//usr/hadoop/JarsLib
　　real7m4.508s
　　user0m44.582s
　　sys0m16.922s
　　用了424.450s,p平均速度为1.1MB/s.
　　小结：

编号	传输方向	643MB（1个文件）	467M（34594个文件）
传输时间	传输速率	传输时间	传输速率
1	Slave1->HDFS	66.896s	9.6MB/s	378.592s	1.2MB/s
2	Slave1->Slave2	61.427s	10.5MB/s	71.225s	6.5MB/s
3	HDFS->Slave1	19.830s	32.4MB/s	61.755s	7.6MB/s
4	Slave1->Slave1	19.358s	33.2MB/s	15.001s	31.3MB/s
5	HDFS->NameNode	59.757s	10.7MB/s	91.138s	5.1MB/s
6	NameNode->HDFS	73.005s	8.8MB/s	424.450s	1.1MB/s

　　分析1和6，文件个数对文件传输效率的影响是十分巨大地，不管是在DataNodes内或DataNodes外，对于本实验的两个文件来说，文件上传效率相差8倍左右。
　　分析3和4，由于数据的本地化，Slave1上保存了文件的所有数据，因此对于少量大文件来说，传输速率和本地磁盘复制的速率相差不大。而随着大量小文件的增加，本地磁盘速率影响较小，而HDFS传输的速率搜到较大影响。本例中相差4倍多。
　　分析5和6，datanodes以外的节点上传文件为单点输出，而相对于从HDFS上下载数据的多对单传输比较，速度相差较大，5倍左右。
　　总的来说，单节点之间传输的最大速率为10MB/s，考虑到网卡为100M网卡（理论最大速率为12.5MB/s），交换机亦为100M接口，网线为5类线，猜测限制因素主要为PC和交换机网卡。
　　从表中可以分析出更多的数据，在这里就不一一列举。