配置hadoop使用lzo对中间数据进行压缩

jiang1799

分3步完成
1.需要使用root安装liblzo动态链接库
#root
cp ./lib64/liblzo2.so.2.0.0  /lib64
cd /lib64/
ln -s liblzo2.so.2.0.0 liblzo2.so
ln -s liblzo2.so.2.0.0 liblzo2.so.2
--检查下是否拷贝进去了
ls -l /lib64|grep lzo|wc -l
3

2.hive用户安装gpl jar包和本地库

su - username
--jar
cp  ./hadoop-gpl-compression-0.1.0-dev.jar  $HADOOP_HOME/lib
-- local library
cp   ./Linux-amd64-64.tar   $HADOOP_HOME/lib/native
cp  ./Linux-i386-32.tar   $HADOOP_HOME/lib/native

cd $HADOOP_HOME/lib/native

tar -xf Linux-amd64-64.tar
tar -xf Linux-i386-32.tar

ls -l Linux-amd64-64|wc -l
ls -l Linux-i386-32|wc -l

3.修改两个配置文件
cd $HADOOP_CONF_DIR

修改hadoop配置文件 $HADOOP_CONF_DIR/core-site.xml
<property> 
  <name>io.compression.codecs</name> 
  <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,org.apache.hadoop.io.compress.BZip2Codec</value> 
</property> 
<property> 
  <name>io.compression.codec.lzo.class</name> 
  <value>com.hadoop.compression.lzo.LzoCodec</value> 
</property>
 
 
修改hadoop配置文件 $HADOOP_CONF_DIR/mapred-site.xml (包含慢启动)
  <property>
    <name>mapred.reduce.slowstart.completed.maps</name>
    <value>0.3</value>
  </property>
  <property> 
    <name>mapred.compress.map.output</name> 
    <value>true</value> 
  </property> 
  <property> 
    <name>mapred.map.output.compression.codec</name> 
    <value>com.hadoop.compression.lzo.LzoCodec</value> 
  </property>