hadoop和hbase lzo压缩

zcl_ccc

　　配置hadoop lzo

一、下载、解压并编译lzo包

1[wyp@master  ~]$ wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
2[wyp@master  ~]$ tar -zxvf lzo-2.06.tar.gz
3[wyp@master  ~]$ cd lzo-2.06
4[wyp@master  ~]$ export CFLAGS=-m64
5[wyp@master  ~]$ ./configure -enable-shared -prefix=/usr/local/hadoop/lzo/
6[wyp@master  ~]$ make && sudo make install
　　编译完lzo包之后，会在/usr/local/hadoop/lzo/生成一些文件，目录结构如下：

1[wyp@master  /usr/local/hadoop/lzo]$ ls -l
2total 12
3drwxr-xr-x 3 root root 4096 Mar 21 17:23 include
4drwxr-xr-x 2 root root 4096 Mar 21 17:23 lib
5drwxr-xr-x 3 root root 4096 Mar 21 17:23 share
　　将/usr/local/hadoop/lzo目录下的所有文件打包，并同步到集群中的所有机器上。（我没这么做）
　　在编译lzo包的时候，需要一些环境，可以用下面的命令安装好lzo编译环境

1[wyp@master  ~]$ yum -y install  lzo-devel     \
2               zlib-devel  gcc autoconf automake libtool

二、安装Hadoop-LZO
　　这里下载的是Twitter hadoop-lzo，可以用Maven(如何安装Maven请参照本博客的《Linux命令行下安装Maven与配置》)进行编译。

1[wyp@master  ~]$ wget https://github.com/twitter/hadoop-lzo/archive/master.zip
　　下载后的文件名是master，它是一个zip格式的压缩包，可以进行解压：

1[wyp@master  ~]$ unzip master
　　hadoop-lzo中的pom.xml依赖了hadoop2.1.0-beta，由于我们这里用到的是Hadoop 2.2.0，所以建议将hadoop版（我用的2.3,2.4,2.5也可以用）

1<properties>
2    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
3    <hadoop.current.version>2.2.0</hadoop.current.version>
4    <hadoop.old.version>1.0.4</hadoop.old.version>
5  </properties>
　　然后进入hadoop-lzo-master目录，依次执行下面的命令

01[wyp@master  hadoop-lzo-master]$ export CFLAGS=-m64
02[wyp@master  hadoop-lzo-master]$ export CXXFLAGS=-m64
03[wyp@master  hadoop-lzo-master]$ export C_INCLUDE_PATH=     \
04                                  /usr/local/hadoop/lzo/include
05[wyp@master  hadoop-lzo-master]$ export LIBRARY_PATH=/usr/local/hadoop/lzo/lib
06[wyp@master  hadoop-lzo-master]$ mvn clean package -Dmaven.test.skip=true
07[wyp@master  hadoop-lzo-master]$ cd target/native/Linux-amd64-64
08[wyp@master  Linux-amd64-64]$ tar -cBf - -C lib . | tar -xBvf - -C ~
09[wyp@master  ~]$cp ~/libgplcompression* $HADOOP_HOME/lib/native/  
10[wyp@master  hadoop-lzo-master]$cp target/hadoop-lzo-0.4.18-SNAPSHOT.jar   \
11                                   $HADOOP_HOME/share/hadoop/common/
　　其中~目录下的libgplcompression.so和libgplcompression.so.0是链接文件，指向libgplcompression.so.0.0.0，将刚刚生成的libgplcompression*和target/hadoop-lzo-0.4.18-SNAPSHOT.jar同步到集群中的所有机器对应的目录（这个同步是必须的，否则或找不到jar包和执行错误）
　　配置hadoop

添加到maper-site.xml
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
<property>
<name>mapred.child.env</name>
<value>LD_LIBRARY_PATH=/usr/local/hadoop/lzo/lib</value>
</property>
添加到core-site.xml
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
　　使用LZO压缩
　　1.mr输出压缩文件：

    Configuration conf = new Configuration();
conf.set("mapred.output.compression.codec", "com.hadoop.compression.lzo.LzopCodec");
conf.set("mapred.output.compress", "true");
　　2.hive创建压缩表

CREATE EXTERNAL TABLE test(
key string ,
params string , )
row format delimited fields terminated by '\t'
collection items terminated by ','
lines terminated by '\n'
STORED AS INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/user/hive/warehouse/dirk.db/test';
　　配置hbase lzo
　　将hadoop-lzo-0.4.18-SNAPSHOT.jar放入$HBASE_HOME/lib下,需要重启hbase
　　创建hbase表

create 'test',{NAME=>'f',COMPRESSION=>'LZO'}
　　 

alter 'dirktt',{NAME=>'f',COMPRESSION=>'LZO'}
　　 
　　结束
　　转 http://my.oschina.net/u/1169079/blog/225070