hadoop namenode format的作用
今天一同事问重启了hadoop集群后要不要format，我当时想也没想就说，不可以，不然数据都丢失了。后来仔细一想，不对，namenode format貌似不会影响datanode上面的数据，那么namenode format的作用是什么呢，通过代码来看一看吧。namenode format的类为 org.apache.hadoop.hdfs.server.namenode.NameNode,看看format部分的源码：
private static boolean format(Configuration conf,
boolean isConfirmationNeeded, boolean isInteractive) throws IOException {
//这里获取配置文件中dfs.name.dir属性中配置的文件，主要为fsimage
Collection<File> dirsToFormat = FSNamesystem.getNamespaceDirs(conf);
//这里获取配置文件中dfs.name.edits.dir属性中配置的文件，主要为edits文件
Collection<File> editDirsToFormat =
FSNamesystem.getNamespaceEditsDirs(conf);
。。。
。。。
FSNamesystem nsys = new FSNamesystem(new FSImage(dirsToFormat,
editDirsToFormat), conf);
//这里执行format
nsys.dir.fsImage.format();
return false;
}
后面调用了FsImage的format：
public void format() throws IOException {
//新的layoutVersion
this.layoutVersion = FSConstants.LAYOUT_VERSION;
//新的namespaceid
this.namespaceID = newNamespaceID();
this.cTime = 0L;
this.checkpointTime = FSNamesystem.now();
for (Iterator<StorageDirectory> it =
dirIterator(); it.hasNext();) {
StorageDirectory sd = it.next();
//这里正在执行format，删除文件夹，重建文件夹，设置新文件内容
format(sd);
}
}
再来看看format(StorageDirectory )方法做了什么：
void format(StorageDirectory sd) throws IOException {
//删除current文件夹及其下的所有文件，接着在创建一个新的current文件夹
sd.clearDirectory(); // create currrent dir
sd.lock();
try {
//将image，edits，namespaceid，layoutVersion等下入current文件夹下
saveCurrent(sd);
} finally {
sd.unlock();
}
LOG.info("Storage directory " + sd.getRoot()
+ " has been successfully formatted.");
}
这里看到format只是对namenode的fsimage，edits等进行删除和重建，并不对datanode有的任何操作，因此不用担心会丢失数据。重新启动集群，datanode向namenode发送了block的信息，namenode就会又得到整个集群的元数据了，并保存在内存中。
下次研究下整个集群的启动过程。。
页:
[1]