hadoop hbase lzo 安装

水电工888

安装 LZO 压缩
1、下载LZO并解压
http://www.oberhumer.com/opensource/lzo/download/
2、安装LZO
进入解压后的目录，执行如下命令
＃./configure  --enable-shared
＃make
＃sudo make install
lzo文件被默认安装到了/usr/local/lib
3. 设置 LZO 库文件链接
ln -s  /usr/local/lib/liblzo2.so.2  /usr/lib/liblzo2.so.2
ln -s  /usr/local/lib/liblzo2.so  /usr/lib/liblzo2.so
如果是CentOS64位或者默认lib是/usr/lib64的系统，请执行下面命令
ln -s  /usr/local/lib/liblzo2.so.2  /usr/lib64/liblzo2.so.2
ln -s  /usr/local/lib/liblzo2.so  /usr/lib64/liblzo2.so
安装LZO Native 到Hadoop 和 HBase Native
1、下载lzo native源码和编译
http://svn.codespot.com/a/apache-extras.org/hadoop-gpl-compression/trunk/
编译jar执行
  ＃ant
将编译后的执行
  #mkdir lzoInstall
  #mkdir lzoInstall/lib
  ＃cp build/hadoop-gpl-compression-0.2.0-dev.jar lzoInstall/lib
编译native执行
  ＃ant clean compile-native
  # cp -r build/native lzoInstall/
2、执行安装文件
  ＃cd lzoInstall
  #vi install.sh
拷贝如下内容进去
#!/bin/sh

HADOOP=$HADOOP_INSTALL
HBASE=$HBASE_HOME

if [ ! $HBASE ] ; then
   echo "Plesase Set HBASE Environment variable"
fi

if [ ! $HADOOP ] ; then
   echo "Plesase Set Hadoop Environment variable"
fi


#Install Native lib
cp -r ./native/Linux-amd64-64/  $HBASE/lib/native
cp -r ./native/Linux-i386-32/   $HBASE/lib/native
cp -r  ./lib/*  $HBASE/lib

#Install Native lib
cp -r ./native/Linux-amd64-64/  $HADOOP/lib/native
cp -r ./native/Linux-i386-32/   $HADOOP/lib/native
cp -r ./lib/* $HADOOP/lib

echo "Install Sucessfully"
保存install.sh后执行
＃sh install.sh
3、修改Hadoop配置文件 core-site.xml，添加下面属性
      <property>
        <name>io.compression.codecs</name>
        <value>com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>
      </property>
      <property>
        <name>io.compression.codec.lzo.class</name>
        <value>com.hadoop.compression.lzo.LzoCodec</value>
      </property>
4、测试安装
启动Hadoop,HBase,进入HBase Shell，创建表

   create 'test', {NAME=>'n', COMPRESSION=>'lzo'}

   scan 'test'
   如果成功这表明 LZO已经安装成功
参考
http://wiki.apache.org/hadoop/UsingLzoCompression