Hadoop安全模式的理解

ysoren

　　安全模式异常：
在hadoop的实践过程中，系统启动的时候去修改和删除文件有时候会报以下错误：
org.apache.hadoop.dfs.SafeModeException: Cannotdelete/user/hadoop/input. Name node is in safe mode.从
字面上来理解：“Name nodeis in safe mode.”hadoop的namenode处于安全模式。
出现上述现象由于NameNode在启动的时候首先进入安全模式。
安全模式启动过程：
当 Hadoop的NameNode节点启动时，会进入安全模式阶段。在此阶段，DataNode会向NameNode上传它们数据块的列
表，让 NameNode得到块的位置信息，并对每个文件对应的数据块副本进行统计。当最小副本条件满足时，即一定比
例的数据块都达到最小副本数，系统就会退出安全模式，而这需要一定的延迟时间。当最小副本条件未达到要求
时，就会对副本数不足的数据块安排DataNode进行复制，直至达到最小副本数。而在安全模式下，系统会处于只读
状态，NameNode不会处理任何块的复制和删除命令。
安全模式相关属性的设置：
安全模式的相关属性都在文件conf/hdfs-site.xml中指定，有如下几个：
dfs.replication.min 指定数据块要达到的最小副本数，默认为1；
dfs.safemode.extension 指定系统退出安全模式时需要的延迟时间，默认为30(秒)；
dfs.safemode.threshold.pct 指定退出条件，需要达到最小副本数的数据块比例，1.0.3中默认是0.95
安全模式常用命令：
hadoop dfsadmin-safemode 命令
格式：Usage: java DFSAdmin [-safemode enter | leave | get |wait]
用户可以通过dfsadmin -safemode value 来操作安全模式，参数value的说明如下：
enter - 进入安全模式
leave - 强制NameNode离开安全模式
get - 返回安全模式是否开启的信息
wait - 等待，一直到安全模式结束。
hadoop dfsadmin -safemode 命令的源码解析：
dfsadmin的命令实现类org.apache.hadoop.hdfs.tools. DFSAdmin
安全模式命令用法：
Usage: java DFSAdmin [-safemode enter | leave | get | wait]
实现类DFSAdmin中主要处理的安全模式的命令的方法是setSafeMode核心处理逻辑为：
DistributedFileSystem dfs = (DistributedFileSystem) fs;
boolean inSafeMode = dfs.setSafeMode(action);
DFSAdmin à DistributedFileSystemà DFSClientà ClientProtocol的实现类NameNodeàFSNamesystem.
核心代码：
boolean setSafeMode(SafeModeAction action) throwsIOException {
if (action != SafeModeAction.SAFEMODE_GET) {
1
checkSuperuserPrivilege();
switch(action) {
case SAFEMODE_LEAVE: // leave safe mode
leaveSafeMode(false);
break;
case SAFEMODE_ENTER: // enter safe mode
enterSafeMode();
break;
}
}
return isInSafeMode();
}
安全模式的实现由FSNamesystem的内部类：SafeModeInfo实现的。监控安全模式的是SafeModeMonitor内部类。
该类包含了安全模式的相关信息。当namenode进入安全模式时，将创建SafeModeInfo实例。在namenode启动的时
候，SafeModeInfo计算safe blocks，即这blocks至少有冗余的数量，并计算safe blocks在所有blocks的比例也就
是FSNamesystem#blocksMap的大小。当比例达到阈值threshold，将启动 SafeModeMonitor后台进程监控安全模式是
否已经过去。当过去时，hadoop集群将离开安全模式，并销毁自己。
FSNamesystem的初始化时initialize进入安全模式
this.safeMode = new SafeModeInfo(conf);
在启动时创建SafeModeInfo实例时，其参数如下:
this.threshold =conf.getFloat("dfs.safemode.threshold.pct", 0.95f);
this.extension =conf.getInt("dfs.safemode.extension", 0);
this.safeReplication =conf.getInt("dfs.replication.min", 1);
//namenode启动时创建SafeModeInfo实例
SafeModeInfo(Configuration conf) {
this.threshold =conf.getFloat("dfs.safemode.threshold.pct", 0.95f);
this.extension =conf.getInt("dfs.safemode.extension", 0);
this.safeReplication =conf.getInt("dfs.replication.min", 1);
this.blockTotal = 0;
this.blockSafe = 0;
}
//手动进入安全模式的实例构造方法
private SafeModeInfo() {
this.threshold = 1.5f; //this threshold can never be reached
this.extension = Integer.MAX_VALUE;
this.safeReplication = Short.MAX_VALUE +1; // more than maxReplication
this.blockTotal = -1;
2
this.blockSafe = -1;
this.reached = -1;
enter();
reportStatus("STATE* Safe mode isON.", true);
}
//手动触发的方法入口如下：
synchronized void enterSafeMode() throws IOException {
if (!isInSafeMode()) {
safeMode = new SafeModeInfo();
return;
}
safeMode.setManual();
getEditLog().logSync();
NameNode.stateChangeLog.info("STATE* Safe modeis ON. "
+ safeMode.getTurnOffTip());
}
SafeModeMonitor安全模式监控类，1000毫秒监控状态。
核心代码：
public void run() {
while (fsRunning && (safeMode !=null && !safeMode.canLeave())) {
　　try {
　　Thread.sleep(recheckInterval);
} catch(InterruptedException ie) {
}
}
// leave safe mode and stop the monitor
try {
leaveSafeMode(true);
} catch(SafeModeException es) { //should never happen
String msg ="SafeModeMonitor may not run during distributed upgrade.";
assert false : msg;
throw newRuntimeException(msg, es);
}
smmthread = null;
}
冗余模块的复制处理过程：核心处理方法processMisReplicatedBlocks