运行hadoop时的一些技巧
//用来给key分区的，需要实现Partitioner接口conf.setPartitionerClass(Partitioner.class);
//分组，跟分区不同
conf.setOutputValueGroupingComparator(theClass);
//中间合并程序，一般跟reduce类似
conf.setCombinerClass(ComReduce.class);
//对结果中的 key 进行排序时的使用的比较器，默认使用的是WritableComparable ，如对hadoop自带的wordcount
//程序，默认的比较器是按升序排序的，但我们往往需要用到的是降序，这时可以利用这个方法。
//参考：http://blog.iyunv.com/u3/99156/showart_2157576.html
更多信息请查看 java进阶网 http://www.javady.com
页:
[1]