Hadoop源代码分析（二四）

风起漂泊

　　下面轮到FSNamesystem出场了。FSNamesystem.java一共有4573行，而整个namenode目录下所有的Java程序总共也只有16876行，把FSNamesystem搞定了，NameNode也就基本搞定。
　　FSNamesystem是NameNode实际记录信息的地方，保存在FSNamesystem中的数据有：
l           文件名à数据块列表（存放在FSImage和日志中）
l           合法的数据块列表（上面关系的逆关系）
l           数据块àDataNode（只保存在内存中，根据DataNode发过来的信息动态建立）
l           DataNode上保存的数据块（上面关系的逆关系）
l           最近发送过心跳信息的DataNode（LRU）
　　我们先来分析FSNamesystem的成员变量。

  private boolean isPermissionEnabled;
是否打开权限检查，可以通过配置项dfs.permissions来设置。

 

  private UserGroupInformation fsOwner;
本地文件的用户文件属主和文件组，可以通过hadoop.job.ugi设置，如果没有设置，那么将使用启动HDFS的用户（通过whoami获得）和该用户所在的组（通过groups获得）作为值。

 

  private String supergroup;
对应配置项dfs.permissions.supergroup，应用在defaultPermission中，是系统的超级组。

 

  private PermissionStatus defaultPermission;
缺省权限，缺省用户为fsOwner，缺省用户组为supergroup，缺省权限为0777，可以通过dfs.upgrade.permission修改。

 

  private long capacityTotal, capacityUsed, capacityRemaining;
系统总容量/已使用容量/剩余容量

 

  private int totalLoad = 0;
系统总连接数，根据DataNode心跳信息跟新。

 

  private long pendingReplicationBlocksCount, underReplicatedBlocksCount, scheduledReplicationBlocksCount;
分别是成员变量pendingReplications（正在复制的数据块），neededReplications（需要复制的数据块）的大小，scheduledReplicationBlocksCount是当前正在处理的复制工作数目。

 

  public FSDirectory dir;
指向系统使用的FSDirectory对象。

 

　　  BlocksMap blocksMap = new BlocksMap();
保存数据块到INode和DataNode的映射关系
　　

public CorruptReplicasMap corruptReplicas = new CorruptReplicasMap();
保存损坏（如：校验没通过）的数据块到对应DataNode的关系，CorruptReplicasMap类图如下，类只有一个成员变量，保存Block到一个DatanodeDescriptor的集合的映射和这个映射上的一系列操作：

 

 

  Map<String, DatanodeDescriptor> datanodeMap = new TreeMap<String, DatanodeDescriptor>();
保存了StorageID à DatanodeDescriptor的映射，用于保证DataNode使用的Storage的一致性。

 

　　  private Map<String, Collection<Block>> recentInvalidateSets
保存了每个DataNode上无效但还存在的数据块（StorageID à ArrayList<Block>）。
　　  Map<String, Collection<Block>> recentInvalidateSets
保存了每个DataNode上有效，但需要删除的数据块（StorageID à TreeSet<Block>），这种情况可能发生在一个DataNode故障后恢复后，上面的数据块在系统中副本数太多，需要删除一些数据块。

 

  HttpServer infoServer;

  int infoPort;

  Date startTime;
用于内部信息传输的HTTP请求服务器（Servlet的容器）。现在有/fsck，/getimage，/listPaths/*，/data/*和/fileChecksum/*，我们后面还会继续讨论。

 

  ArrayList<DatanodeDescriptor> heartbeats;
所有目前活着的DataNode，线程HeartbeatMonitor会定期检查。

private UnderReplicatedBlocks neededReplications
需要进行复制的数据块。UnderReplicatedBlocks的类图如下，它其实是一个数组，数组的下标是优先级（0的优先级最高，如果数据块只有一个副本，它的优先级是0），数组的内容是一个Block集合。UnderReplicatedBlocks提供一些方法，对Block进行增加，修改，查找和删除。
　　


　　
　　  private PendingReplicationBlocks pendingReplications;
保存正在复制的数据块的相关信息。PendingReplicationBlocks的类图如下：
　　

 

 

其中，pendingReplications保存了所有正在进行复制的数据块，使用Map是需要一些附加的信息PendingBlockInfo。这些信息包括时间戳，用于检测是否已经超时，和现在进行复制的数目numReplicasInProgress。timedOutItems是超时的复制项，超时的复制项在FSNamesystem的processPendingReplications方法中被删除，并从新复制。timerThread是用于检测复制超时的线程的句柄，对应的线程是PendingReplicationMonitor的一个实例，它的run方法每隔一段会检查是否有超时的复制项，如果有，将该数据块加到timedOutItems中。Timeout是run方法的检查间隔，defaultRecheckInterval是缺省值。PendingReplicationBlocks和PendingBlockInfo的方法都很简单。

 

  public LeaseManager leaseManager = new LeaseManager(this);
租约管理器。