Hadoop Streaming 实战： 多路输出

xuanhao

　　streaming把reduce的输出作为一个任务的最终输出，输出文件形如：   
part-00000、part-00001……     
文件个数为reduce任务个数     

但是，有的时候，我们有多路输出的需求，eg：一部分数据作为下一个mapreduce任务的输入，另一部分数据直接供下游任务抓取，此时，我们就需要使用reduce的多路输出。
　　在hadoop-v2-u7中，streaming引入了reduce多路输出的功能，允许一个reduce输出到多个文件中，规则如下：   
使用-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat或者-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleSequenceFileOutputFormat指定使用带多输出的OutputFormat（前者对应于文本输入，后者于二进制输入）     
reduce输出文件可以为part-xxxxx-X文件，其中X是A-Z的字母之一，使用方式是在输出key,value对的时候，在value的后面追加"#X"两个字节后缀，后缀不同的key,value输出到不同的part-xxxxx-X文件，value的后缀"#X"自动删除。
此时，需要特别注意的是，由于value之后#X才会识别为输出文件标示，而reduce的输出默认以"/t"分割key和value，因此，如果reduce的输出是一行中间没有"/t"，我们就需要在#X后缀前面添加"/t"使它变成value的一部分而不是key的一部分，也可以通过“-D stream.reduce.output.field.separator”指定reduce输出分割符的类型。     

示例：     
对输入的数据做处理，以字符'1’开头的输入part-xxxxx-A文件中，以字符'2’开头的输入part-xxxxx-A文件中，其余输入part-xxxxx-C文件中
　　
1. mapper程序mapper.sh
　　#!/bin/shwhile read linedo        echo "$line"done
　　2. reducer程序reducer.sh
　　#!/bin/shwhile read linedo        tag=`expr substr $line 1 1`        if [ $tag == "1" ]        then                echo -e "$line/t#A"        elif [ $tag == "2" ]        then                echo -e "$line/t#B"        else                echo -e "$line/t#C"        fidone
　　3. 输入数据:test.txt
　　1,2,1,1,12,2,2,1,13,3,1,1,11,3,2,1,12,3,3,1,13,2,3,1,11,3,1,1,12,3,2,1,13,3,3,1,14,3,3,1,1
　　4. 输入文本放入hdfs，集群运行：
　　$ hadoop fs -put test.txt /usr/test.txt   
$ hadoop streaming -input /usr test.txt /   
-output /usr/test_1234 /   
-mapper ./mapper.sh -reducer ./reducer.sh /   
-file mapper.sh -file reducer.sh /   
-inputformat org.apache.hadoop.mapred.TextInputFormat /   
-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat /   
-jobconf -jobconf mapred.reduce.tasks=3 /   
-jobconf mapre.job.name="mul_output_test"
　　查看输出：
　　$ hadoop fs -ls /usr/test_1234   
Found 7 items   
-rw-r--r-- 3 test test 11 2011-05-20 09:56 /usr/test_1234/part-00000-C   
-rw-r--r-- 3 test test 11 2011-05-20 09:56 /usr/test_1234/part-00001-A   
-rw-r--r-- 3 test test 11 2011-05-20 09:56 /usr/test_1234/part-00001-B   
-rw-r--r-- 3 test test 11 2011-05-20 09:56 /usr/test_1234/part-00001-C   
-rw-r--r-- 3 test test 22 2011-05-20 09:56 /usr/test_1234/part-00002-A   
-rw-r--r-- 3 test test 22 2011-05-20 09:56 /usr/test_1234/part-00002-B   
-rw-r--r-- 3 test test 22 2011-05-20 09:56 /usr/test_1234/part-00002-C