Hadoop FSDataset中，dfs.datanode.du.reserved 参数选项之BUG

周翔

在DN的hadoop-site.xml中配置了选项：
<property>
<name>dfs.datanode.du.reserved</name>
<value>1024</value>
</property>

这样是为了保证每个磁盘写入点能预留1K的空间来，而不是让DN将每个磁盘写入点写满，以导致M/R写local文件是发生磁盘空间不够而失败，甚至启动DN时也有可能失败(DN在启动时会初使化本地临时目录)。但是最近发现，这个配置选项并没有生效，还是有很多DN上的磁盘被写满了。究其代码，就发现了问题：
long getCapacity() throws IOException {
-      if (reserved > usage.getCapacity()) {
-        return 0;
-      }
-
-      return usage.getCapacity()-reserved;
+      long remaining = usage.getCapacity() - reserved;
+      return remaining > 0 ? remaining : 0;
}
long getAvailable() throws IOException {
long remaining = getCapacity()-getDfsUsed();
-      long available = usage.getAvailable();
+      long available = usage.getAvailable() - reserved;
if (remaining>available) {
remaining = available;
}
return (remaining > 0) ? remaining : 0;
}

前一个修改是为了避免getCapacity() 被调用两次，该bug也是hadoop jira的一个close掉的bug。
后一个修改就是该bug所在。在比较remaining和available这两个变量的时候，remaining其实是减过reserved的，但available却没有，这样就导致计算磁盘剩余空间的时候出现问题，所以让available也减一下，这样就合理了。
-HADOOP-0.19.2