hadoop的hdfs的设计

dew

　　一、hdfs的设计，hdfs以流式数据访问模式来存储超大文件
　　1：hdfs的构建思路，一次写入，多次读取
　　2：hdfs是为高数据吞吐量应用优化的，这可能会以提高时间延迟为代价
　　3：由于namenode将文件系统的元数据存储在内存中，因此该文件系统所能存储的文件总数受限于namenode的内存容量。（大量的小文件）
　　4：hdfs中的文件可能只有一个writer，而且写操作总是将数据添加在文件的末尾，不支持具有多个写入者的操作，也不支持在文件的任意位置修改。
　　二、hdfs的概念
　　磁盘块：
　　文件系统块：
　　hdfs上的文件也被划分为块大小的多个分块，作为独立的存储单元，但hdfs中小与一个快大小的文件不会占据整个快的空间。
　　hdfs的块比磁盘的块大，目的最小化寻址的开销，但不会设置过大，mapReduce中的map任务通常一次只处理一个块中的数据，因此如果任务数太少，作业的运行速度就会比较慢。
　　分布式文件系统中的块进行抽象带来的好处：
　　1、一个文件的大小可以大于网络中任意一个磁盘的容量。文件的所有块并不需要存储在同一个磁盘上。
　　2、使用抽象块而非整个文件作为存储单元，大大简化了存储子系统的设计
　　三、namenode（管理者）和datanode（工作者）
　　namenode：维护着文件系统树及整棵树内所有的文件和目录。也纪录每个文件中各个块所在数据节点的信息，但他并不永久保存块的位置信息，因为这些信息会在系统启动时由数据节点重建
　　datanode：是文件系统的工作节点，他们根据需要存储并检索数据块，并且向namenode发送他们所存储的块的列表
　　namenode的容错机制
　　1：备份
　　2：辅助namenode
　　联邦hdfs
　　namenode在内存中保存文件系统中每个文件和每个数据块的引用关系，这意味着对于一个拥有大量文件的超大集群来说，内存将成为限制系统横向扩展的瓶颈。2.x发行版本系列中引入的联邦hdfs允许系统增加namenode实现扩展。
　　四、hdfs的常用命令

　　hadoop fs -mkdir /tmp/input              在HDFS上新建文件夹
    hadoop fs -put input1.txt /tmp/input  把本地文件input1.txt传到HDFS的/tmp/input目录下
    hadoop fs -get  input1.txt /tmp/input/input1.txt  把HDFS文件拉到本地
    hadoop fs -ls /tmp/output                  列出HDFS的某目录
    hadoop fs -cat /tmp/ouput/output1.txt  查看HDFS上的文件
    hadoop fs -rmr /home/less/hadoop/tmp/output  删除HDFS上的目录
    hadoop dfsadmin -report 查看HDFS状态，比如有哪些datanode，每个datanode的情况
    hadoop dfsadmin -safemode leave  离开安全模式
    hadoop dfsadmin -safemode enter  进入安全模式
　　五、hadoop的文件系统是一个抽象的概念，java提供一个抽象类FileSystem，hdfs只是其中的一个实现，实现类DistributedFileSystem 
　　六、java的提供一些接口
　　1、从hadoop url读取数据
　　2、通过filesystem api读取数据
　　3、写入数据
　　4、创建目录
　　5、查询文件系统
　　6、删除数据
　　七、数据流
　　1、读取
　　hdfs客户端-->open分布式文件系统-->namenode-->read (FSData InputStream)-->datanode
　　2、写入
　　hdfs客户端-->create分布式文件系统-->create namenode -->write(FSData OutputStream)-->datanode-->close 分布式文件系统-->complete namenode
　　3、通过Flume和Sqoop导入数据
　　Flume是一个将大规模流数据导入HDFS的工具，应用场景是从另外一个系统中收集日志数据，并实现在hdfs中的聚集操作以便用于后期的分析操作
　　Sqoop是为了将数据从结构化存储设备批量导入hdfs中的设计。应用场景，是将白天生产的数据库中的数据导入hive数据仓库中进行分析。
　　4、通过distcp并行复制，应用场景是在两个hdfs集群之间传输数据。
　　5、hadoop存档：每个文件按块方式存储，每个块的元数据存储在namenode的内存中，因为hadoop存储小文件会低效。hadoop存档文件（har文件）是一个更高效的文档存储工具，他将文件存入hdfs块，可以减少namenode的内存，允许文件进行透明访问。hadoop存档文件可以用做mapreduce的输入。
　　八、hadoop的I/O操作
　　hdfs的数据完整性：hdfs会对写入的所有数据计算交验和，并在读取数据时验整校验和。datanode负责在收到数据后存储该数据及其验证校验和。
　　hadoop的LocalFileSystem执行客户端校验和验证。localfileSystem通过checksumfilesystem来完成任务。
　　压缩格式和算法
　　DEFLATE,Gzip,bizp2,lzo,lz4,snappy
　　deflate,deflate,bizp2,lzo,lz4,snappy
　　在mapreduce中使用压缩
　　如果输入文件是压缩的，那么在根据文件扩展名推断出相应的codec后，mapreduce会在读取文件是自动解压缩文件
　　想要压缩mapreduce作业的输出，应在作业配置文件设置，还可以fileoutputformat来设置