Hadoop学习二十：Hadoop-Hdfs 通信机制VersionedProtocol接口方法

jjfjjj

一. VersionedProtocol

//使用Hadoop RPC机制的所有协议的超类  
//所有子类所以自己的协议号static final long versionID
public interface VersionedProtocol {
/**  
* 返回与指定协议protocol相关的协议版本  
* @param protocol 协议接口的类名  
* @param clientVersion 客户端欲与服务器进行交互，它所使用的协议版本  
* @return 返回服务器将要与客户端进行交互，所需要使用的协议版本  
*/   
public long getProtocolVersion(String protocol,  long clientVersion) throws IOException;
}
二.ClientDatanodeProtocol

//ClientDatanodeProtocol用于Client和DataNode通信
public interface ClientDatanodeProtocol extends VersionedProtocol {
//ClientDatanodeProtocol版本号4L
public static final long versionID = 4L;

//恢复block
LocatedBlock recoverBlock(Block block, boolean keepLength,
DatanodeInfo[] targets) throws IOException;
//获得当前DataNode上的block
Block getBlockInfo(Block block) throws IOException;
//获得指定block的位置信息BlockLocalPathInfo
BlockLocalPathInfo getBlockLocalPathInfo(Block block,
Token<BlockTokenIdentifier> token) throws IOException;           
}
三. InterDatanodeProtocol

//InterDatanodeProtocol用于DataNode与DataNode通信
public interface InterDatanodeProtocol extends VersionedProtocol {
//InterDatanodeProtocol 版本号3L
public static final long versionID = 3L;
//获得指定block的元数据信息
BlockMetaDataInfo getBlockMetaDataInfo(Block block) throws IOException;
//恢复数据块
BlockRecoveryInfo startBlockRecovery(Block block) throws IOException;
//更新数据块
void updateBlock(Block oldblock, Block newblock, boolean finalize) throws IOException;
}
四. ClientProtocol

/**
* ClientProtocol用于用户通过DistributedFileSystem访问NameNode
* Client可以操作namespace目录，打开/关闭文件流等等
* 以下所有方法发起方都是Client，接收方都是NameNode
*/
public interface ClientProtocol extends VersionedProtocol {
//ClientProtocol 协议号61L
public static final long versionID = 61L;
///////////////////////////////////////
// File contents
///////////////////////////////////////
//获得一个文件对应的list<块，块的位置<list<位置>>信息
public LocatedBlocks  getBlockLocations(String src,
long offset,
long length) throws IOException;
//在命名空间中创建一个文件入口。该方法将创建一个由src路径指定的空文件
//该路径src应该反映了从root目录开始的一个完整路径名称
//从客户端的角度，Namenode并没有“当前”目录的概念。一旦文件创建成功，该文件就是可见的，并可以被其它客户端来执行读操作。
//但是，其它客户端不能够对该文件进行删除、重命名、重写，而这些操作只有在该文件被完全或明确指定为租约到期，才可以执行。
//每个块都具有最大长度限制，如果客户端想要创建多个块，可以调用addBlock(String, String)方法来实现。
public void create(String src,
FsPermission masked,
String clientName,
boolean overwrite,
boolean createParent,
short replication,
long blockSize
) throws IOException;
public void create(String src,
FsPermission masked,
String clientName,
boolean overwrite,
short replication,
long blockSize
) throws IOException;
//向文件src中追加写入内容，返回一个org.apache.hadoop.hdfs.protocol.LocatedBlock对象
//该对象封装了 块，块的位置<list<位置>的对应关系，通过追加写操作后的返回信息，可以定位到追加写入最后部分块的信息。
public LocatedBlock append(String src, String clientName) throws IOException;

//开始恢复租约
public boolean recoverLease(String src, String clientName) throws IOException;

//设置已经存在的文件的复制因子
//Namenode会为指定文件设置副本因子，但是，不期望在调用该方法的过程修改实际块的副本因子，而是由后台块维护进程来执行：
//如果当前副本因子小于设置的新副本因子，需要增加一些块副本，如果当前副本因子大于设置的新副本因子，就会删除一些块副本。
public boolean setReplication(String src,
short replication
) throws IOException;

//为已经存在的目录或者文件，设置给定的操作权限  
public void setPermission(String src, FsPermission permission
) throws IOException;

//设置文件或目录属主  
public void setOwner(String src, String username, String groupname
) throws IOException;

//客户端放弃对指定块的操作
public void abandonBlock(Block b, String src, String holder
) throws IOException;

public LocatedBlock addBlock(String src, String clientName) throws IOException;

//客户端向一个当前为写操作打开的文件写入数据块  
public LocatedBlock addBlock(String src, String clientName,
DatanodeInfo[] excludedNodes) throws IOException;
//客户端完成对指定文件的写操作，并期望能够写完
//在写完以后关闭文件，返回是否成功关闭；如果返回false,调用者应该再次发送请求
//该方法只有在所有文件的文件块全部达到最小复制因子时才返回true
public boolean complete(String src, String clientName) throws IOException;
//客户端报告corrupted块的信息
public void reportBadBlocks(LocatedBlock[] blocks) throws IOException;
///////////////////////////////////////
// Namespace management
///////////////////////////////////////
//重命名文件系统里的一个文件或目录   
public boolean rename(String src, String dst) throws IOException;
public boolean delete(String src) throws IOException;

//删除文件系统里的一个文件或目录 ，recursive 是否递归删除子目录
public boolean delete(String src, boolean recursive) throws IOException;

//创建指定权限的目录
public boolean mkdirs(String src, FsPermission masked) throws IOException;

//获取指定目录的目录/文件列表
public DirectoryListing getListing(String src, byte[] startAfter)
throws IOException;
///////////////////////////////////////
// System issues and management
///////////////////////////////////////

//一个client操作某个文件时，为了防止其它clinet同时操作此文件，该client获取了一些列锁
//如果此时该client突然意外死亡，Namenode会销毁这个锁并认为此client已经死亡
//如果此client发送renewLease请求，告诉Namenode我没死；如果一段时间不发送，NameNode认为此client彻底死亡
public void renewLease(String clientName) throws IOException;

//获取文件系统现有的状态信息
/**  
* 返回一组标识文件系统不同信息的索引数组：  
* <ul>  
* <li> [0] 包含文件系统总存储容量(按字节计算)</li>  
* <li> [1] 包含文件系统已使用空间(按字节计算)</li>  
* <li> [2] 包含文件系统可使用空间(按字节计算)</li>  
* <li> [3] 包含文件系统中不满足副本因子数量的块的数量</li>  
* <li> [4] 包含corrupt副本的块的数量 </li>  
* <li> [5] 包含没有任何可以用的块副本的块的数量</li>  
* </ul>  
*/   
public long[] getStats() throws IOException;

//获得当前DataNodes的状态信息
public DatanodeInfo[] getDatanodeReport(FSConstants.DatanodeReportType type)
throws IOException;
//获得指定文件的block size
public long getPreferredBlockSize(String filename) throws IOException;

//进入 离开 获取安全模式
public boolean setSafeMode(FSConstants.SafeModeAction action) throws IOException;
//保存命名空间映像
//保存当前namespace到storage directories，然后进行checkpoint操作
public void saveNamespace() throws IOException;
//告诉NameNode重读hosts文件
public void refreshNodes() throws IOException;
//完成升级
public void finalizeUpgrade() throws IOException;
//获得升级过程中的当前状态
public UpgradeStatusReport distributedUpgradeProgress(UpgradeAction action)
throws IOException;
//将Namenode结点上的数据结构写入到指定的文件中，如果指定文件已经存在，则追加到该文件中，就是checkpoint过程  
public void metaSave(String filename) throws IOException;

//重新为所有DataNode设置带宽
public void setBalancerBandwidth(long bandwidth) throws IOException;

//获得指定文件或目录的状态信息
public HdfsFileStatus getFileInfo(String src) throws IOException;

//获得指定目录的容量
public ContentSummary getContentSummary(String path) throws IOException;

//设置指定目录的配额
public void setQuota(String path, long namespaceQuota, long diskspaceQuota)
throws IOException;

//设置给定文件的修改时间
public void setTimes(String src, long mtime, long atime) throws IOException;

//获得令牌
public Token<DelegationTokenIdentifier> getDelegationToken(Text renewer) throws IOException;

//重新创建令牌
public long renewDelegationToken(Token<DelegationTokenIdentifier> token)
throws IOException;
//取消已经存在的令牌
public void cancelDelegationToken(Token<DelegationTokenIdentifier> token)
throws IOException;
五. DatanodeProtocol

//DatanodeProtocol用于Datanode与NameNode的通信
//上报心跳 等
//NameNode与DataNode通信的唯一方式是 DataNode----->NameNode时带回返回值
public interface DatanodeProtocol extends VersionedProtocol {
//DatanodeProtocol版本号26L
public static final long versionID = 26L;

/**  
* 当接收到Datanode的命令的时候，根据下述状态码确定Datanode应该执行何种操作，   
*/   
final static int DNA_UNKNOWN = 0;    // 未知      
final static int DNA_TRANSFER = 1;   // 将数据块从一个Datanode转移到另一个Datanode   
final static int DNA_INVALIDATE = 2; // 未验证数据块   
final static int DNA_SHUTDOWN = 3;   // 关闭Datanode   
final static int DNA_REGISTER = 4;   // 重新注册   
final static int DNA_FINALIZE = 5;   // 完成先前执行的升级操作   
final static int DNA_RECOVERBLOCK = 6;  // 数据块恢复操作请求
final static int DNA_ACCESSKEYUPDATE = 7;  // 更新 access key
final static int DNA_BALANCERBANDWIDTHUPDATE = 8; // 更改带宽
//注册一个Datanode
public DatanodeRegistration register(DatanodeRegistration registration
) throws IOException;
//发送心跳，带回返回值
//心跳告诉NameNode此DataNode的存活状态和其它状态信息
//返回值告诉DataNode移除或拷贝某些block
public DatanodeCommand[] sendHeartbeat(DatanodeRegistration registration,
long capacity,
long dfsUsed, long remaining,
int xmitsInProgress,
int xceiverCount) throws IOException;
//发送block report 告诉NameNode此DataNode上的block信息
//NameNode返回DatanodeCommand 告诉DataNode孤立block和应该删除的block
public DatanodeCommand blockReport(DatanodeRegistration registration,
long[] blocks) throws IOException;

//告诉NameNode blocks-being-written信息
public void blocksBeingWrittenReport(DatanodeRegistration registration,
long[] blocks) throws IOException;

//Datanode向Namenode报告最近接收到的数据块、删除的多余块副本  
public void blockReceived(DatanodeRegistration registration,
Block blocks[],
String[] delHints) throws IOException;
//向Namenode报告错误信息  
public void errorReport(DatanodeRegistration registration,
int errorCode,
String msg) throws IOException;
public NamespaceInfo versionRequest() throws IOException;

//向Namenode发送一个升级命令  
UpgradeCommand processUpgradeCommand(UpgradeCommand comm) throws IOException;

//向Namenode报告Bad Blocks  
public void reportBadBlocks(LocatedBlock[] blocks) throws IOException;

//为数据块生成新的时间戳   
public long nextGenerationStamp(Block block, boolean fromNN) throws IOException;
//在恢复数据块期间，提交事务：数据块同步
public void commitBlockSynchronization(Block block,
long newgenerationstamp, long newlength,
boolean closeFile, boolean deleteblock, DatanodeID[] newtargets
) throws IOException;
}

六. NamenodeProtocol

//NamenodeProtocol用于Secondary NameNode与NameNode的通信
public interface NamenodeProtocol extends VersionedProtocol {
//NamenodeProtocol版本号3L
public static final long versionID = 3L;

//获得指定DataNode上的所有blocks
public BlocksWithLocations getBlocks(DatanodeInfo datanode, long size)
throws IOException;

//获得当前block keys
public ExportedBlockKeys getBlockKeys() throws IOException;

//获得editlog文件大小
public long getEditLogSize() throws IOException;

//参考第2步 http://zy19982004.iyunv.com/blog/1870624
public CheckpointSignature rollEditLog() throws IOException;

//参考第456步 http://zy19982004.iyunv.com/blog/1870624
public void rollFsImage() throws IOException;
}
七. RefreshAuthorizationPolicyProtocol

/**
* Protocol which is used to refresh the authorization policy in use currently.
*/
public interface RefreshAuthorizationPolicyProtocol extends VersionedProtocol {
public static final long versionID = 1L;
/**
* Refresh the service-level authorization policy in-effect.
* @throws IOException
*/
void refreshServiceAcl() throws IOException;
}
八. RefreshUserMappingsProtocol

public interface RefreshUserMappingsProtocol extends VersionedProtocol {
public static final long versionID = 1L;
public void refreshUserToGroupsMappings() throws IOException;
public void refreshSuperUserGroupsConfiguration()
throws IOException;
}