2018-07-19期 Hadoop HDFS DataNode功能

iojsioi

　　一、DataNode功能及特性
　　（1）提供真实文件数据的存储服务。
　　（2）文件块（block）：最基本的存储单位。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。
　　（3）HDFS默认Block大小是128MB，以一个256MB文件，共有256/128=2个Block. 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间，   (这样设置可以减轻namenode压力，因为namonode维护着文件与数据块列表的对应大小)
　　（4）Replication。多复本。默认是三个。（hdfs-site.xml的dfs.replication属性）
　　注意区别：一个文件可以产生多个快，多个文件是不可能成为一个块信息的，处于减轻namenode的压力，最好的方式就是一个文件一个块
　　二、DataNode 存储目录的文件结构以及特点
　　DataNode数据保存在如下目录：
　　$HADOOP_HOME/tmp/dfs/data
　　[root@hadoop-server01 data]# ll
　　total 8
　　drwxr-xr-x. 3 root root 4096 Jun 15 00:51 current
　　-rw-r--r--. 1 root root   20 Jul 15 22:21 in_use.lock
　　[root@hadoop-server01 data]# cd current/
　　[root@hadoop-server01 current]# ll
　　total 8
　　drwx------. 4 root root 4096 Jul 15 22:21 BP-1300855425-192.168.1.201-1529048649163
　　-rw-r--r--. 1 root root  229 Jul 15 22:21 VERSION
　　/usr/local/apps/hadoop-2.4.1/tmp/dfs/data/current/BP-1300855425-192.168.1.201-1529048649163/current/finalized
　　[root@hadoop-server01 finalized]# ll blk_107374*
　　-rw-r--r--. 1 root root 134217728 Jun 18 18:46 blk_1073741825
　　-rw-r--r--. 1 root root   1048583 Jun 18 18:46 blk_1073741825_1001.meta
　　-rw-r--r--. 1 root root   4439028 Jun 18 18:46 blk_1073741826
　　-rw-r--r--. 1 root root     34687 Jun 18 18:46 blk_1073741826_1002.meta
　　-rw-r--r--. 1 root root        11 Jul  4 23:38 blk_1073742895_2071.meta
　　drwxr-xr-x. 2 root root      4096 Jun 22 08:21 subdir0
　　drwxr-xr-x. 2 root root      4096 Jun 22 08:21 subdir1
　　drwxr-xr-x. 2 root root      4096 Jun 22 08:21 subdir10
　　drwxr-xr-x. 2 root root      4096 Jun 22 08:21 subdir11
　　drwxr-xr-x. 2 root root      4096 Jun 22 08:21 subdir12
　　blocksBeingWritten：保存了客户端发起的，当前正在写的数据块；
　　detach：用于配合数据节点升级，==数据块分离==操作时的临时文件夹；
　　tmp：保存了用于数据块复制时，当前正在写的数据块；
　　in_user.lock：表示当前目录已经被使用，实现了一种锁机制，这样DataNode可以独自使用该目录；
　　current：保存了已写入HDFS文件系统的数据块和一些系统工作时需要的文件；
　　blk_开头的文件：HDFS数据块，用来保存HDFS文件内容；
　　.meta后缀文件：CRC32校验文件，保存数据块的校验信息；
　　当current目录达到一定规模时（由配置项${dfs.datanode.numblocks}指定），DataNode会在current目录下新创建一个子目录subdir*，用于保存新的数据块和元数据。
　　默认配置下，current目录下最多只有64个数据块（128个文件）和64个子目录。通过这种手段，DataNode既保证目录不会太深，影响文件检索性能，同时也避免了某个目录保存大量的数据块。