hadoop上安装snappy
snappy也是一个开源的高效压缩和解压框架。具体介绍，这里不再赘述，可以去官网查询。安装所需软件：gcc、g++、snappy包、hadoop-snappy源码包、maven.
gcc在ubuntu上已经安装，如果未安装，包括g++,maven,可以通过以下命令安装
[*]sudo apt-get install gcc g++ maven2
下载软件包:
snappy :http://code.google.com/p/snappy/downloads/list
执行如下命令:
[*]tar -zxvf snappy-1.0.5.tar.gz
[*]cd snappy-1.0.5
[*]./configure
[*]make
[*]sudo make install
使用SVN客户端下载hadoop-snappy 源码：
下载地址:http://hadoop-snappy.googlecode.com/svn/trunk/
编译hadoop-snappy 需要automake和libtool包，执行如下命令:
[*]sudo apt-get install automake libtool
[*]cd hadoop-snappy
[*]mvn package
然后把编译后的 hadoop-snappy-1.0.5-tar/hadoop-snappy-1.0.5/lib/ 下的jar包 拷贝到$HADOOP_HOME/lib下，修改配置文件core-site.xml
[*]
[*]mapred.compress.map.output
[*]true
[*]
[*]
[*]mapred.map.output.compression.codec
[*]org.apache.hadoop.io.compress.SnappyCodec
[*]
[*]
[*]io.compression.codecs
[*]org.apache.hadoop.io.compress.GzipCodec,
[*]org.apache.hadoop.io.compress.DefaultCodec,
[*]org.apache.hadoop.io.compress.BZip2Codec,
[*]com.hadoop.compression.lzo.LzoCodec,
[*]com.hadoop.compression.lzo.LzopCodec,
[*]org.apache.hadoop.io.compress.SnappyCodec
[*]
[*]
[*]
[*]io.compression.codec.lzo.class
[*]com.hadoop.compression.lzo.LzoCodec
[*]
然后重启hadoop完事。
页:
[1]