Hadoop源代码分析（三四）
继续对NameNode实现的接口做分析。public DatanodeCommand blockReport(DatanodeRegistration nodeReg,
long[] blocks) throws IOException
DataNode向NameNode报告它拥有的所有数据块，其中，参数blocks包含了数组化以后数据块的信息。FSNamesystem.processReport处理这个请求。一番检查以后，调用DatanodeDescriptor的reportDiff，将上报的数据块分成三组，分别是：
l 删除：其它情况；
l 加入：BlocksMap中有数据块，但目前的DatanodeDescriptor上没有对应信息；
l 使无效：BlocksMap中没有找到数据块。
对于删除的数据块，调用removeStoredBlock，这个方法我们前面已经分析过啦。
对应需要加入的数据块，调用addStoredBlock方法，处理流程如下：
l 从BlocksMap获取现在的信息，记为storedBlock；如果为空，返回；
l 记录block和DatanodeDescriptor的关系；
l 新旧数据块记录不是同一个（我们这个流程是肯定不是啦）：
1. 如果现有数据块长度为0，更新为上报的block的值；
2. 如果现有数据块长度比新上报的长，invalidateBlock（前面分析过，很简单的一个方法）当前数据块；
3. 如果现有数据块长度比新上报的小，那么会删除所有老的数据块（还是通过invalidateBlock），并更新BlocksMap中数据块的大小信息；
4. 跟新可用存储空间等信息；
l 根据情况确定数据块需要复制的数目和目前副本数；
l 如果文件处于构建状态或系统现在是安全模式，返回；
l 处理当前副本数和文件的目标副本数不一致的情况；
l 如果当前副本数大于系统设定门限，开始删除标记为无效的数据块。
还是给个流程图吧：
http://caibinbupt.iyunv.com/upload/attachment/63327/452e09c6-2ae1-3bac-a933-68c0a70fa821.jpg
对于标记为使无效的数据块，调用addToInvalidates方法，很简单的方法，直接加到FSNamesystem的成员变量recentInvalidateSets中。
public void blockReceived(DatanodeRegistration registration,
Block blocks[],
String[] delHints)
DataNode可以通过blockReceived，向NameNode报告它最近接受到的数据块，同时给出如果数据块副本数太多时，可以删除数据块的节点（参数delHints）。在DataNode中，这个信息是通过方法notifyNamenodeReceivedBlock，记录到对应的列表中。
http://caibinbupt.iyunv.com/upload/attachment/63325/bd4bc451-f0be-3370-8939-d0748929f8a2.jpg
NameNode上的处理不算复杂，对输入参数进行检查以后，调用上面分析的addStoredBlock方法。然后在PendingReplicationBlocks对象中删除相应的block。
public void errorReport(DatanodeRegistration registration,
int errorCode,
String msg)
向NameNode报告DataNode上的一个错误，如果错误是硬盘错，会删除该DataNode，其它情况只是简单地记录收到一条出错信息。
public NamespaceInfo versionRequest() throws IOException;
从NameNode上获取NamespaceInfo，该信息用于构造DataNode上的DataStorage。
http://caibinbupt.iyunv.com/upload/attachment/63466/9b7d9a46-f1f5-37d3-87d8-9b3c051eb1ed.jpg
UpgradeCommand processUpgradeCommand(UpgradeCommand comm) throws IOException;
我们不讨论。
public void reportBadBlocks(LocatedBlock[] blocks) throws IOException
报告错误的数据块。NameNode会循环调用FSNamesystem的markBlockAsCorrupt方法。处理流程不是很复杂，找对应的INodeFile，如果副本数够，那么调用invalidateBlock，使该DataNode上的Block无效；如果副本数不够，加Block到CorruptReplicasMap中，然后准备对好数据块进行复制。
目前为止，我们已经完成了NameNode上的ClientProtocol和DatanodeProtocol的分析了，NamenodeProtocol我们在理解从NameNode的时候，才会进行分析。
页:
[1]