Hadoop源代码分析——io.*(一)
背景知识：Hadoop类、接口的标识：
Hadoop的类、接口文件都要引入两个类InterfaceAudience;InterfaceStability;InterfaceAudience用于标 记该类文件可以被访问的权限。熟悉的有public、private。LimitedPrivate 只能在归属的架构中例如HDFS、HBase中被引用。InterfaceStability用于标记该类文件相对于Hadoop版本升级的稳定性。Stable：只有在主版本升级时可能不兼容。Evolving： 在子版本升级时可能不兼容。Unstable：最不稳定的，兼容性在任何版本下都无法提前预知、保证。
序列化：将对象转换为字节流的方法。可以用于(1)进程间的通信(2)数据持久性存储。
interface Writable
Writable是对Java IO中的DataOutput、DataInput的封装，因此实现实现Writable接口对数据进行序列化。
Hadoop中的数据类型、包括自定以的数据类型均要作为key、value传输、写入HDFS，因此都要实现Writable。这也是Hadoop不采用Java原始数据类型的原因。
Writable定义了
void write(DataOutput out) throws IOException;
void readFields(DataInput in) throws IOExceptio;
二者用来读、写字段。
interface WritableComparable<T>
继承了Writable, Comparable<T>。
Map-Reduce框架中作为key的数据类型需要实现该接口。可以自定义某一数据类型同类之间比较方法以及生成该类型数据hashCode方法。
参考陆驾恒的《Hadoop实战》中表格：
JAVA基本类型 Writable中的类型 序列化后字节数 boolean BooleanWritalbe 1 byte ByteWritable 1 int IntWritable 4 VIntWritable 1-5 float FloatWritable 4 long LongWritable 8 VLongWritalbe 1-9 double DoubleWritable 8 以下是官方编写compareTo方法，可以比较int大小this.int < int 返回-1；
public int compareTo(MyWritableComparable o) {
int thisValue = this.value;
int thatValue = o.value;
return (thisValue < thatValue ? -1 : (thisValue==thatValue ? 0 : 1));
}
此外，BinaryComparable类实现了二进制数组的比较。
通过以上的介绍，我们可以通过实现Writable、WritalbeComparable接口来实现自己的数据类型。
页:
[1]