awk and hadoop之mapper

fdhfgh

　　1.  在awk 中mapper的时候我们经常会合并不同的文件，取我们想要的不同的字段。

awk -F "\t" '
{
filename = ENVIRON["mapreduce_map_input_file"];
if (index(filename, "xxxx") > 0) {
// xxx
}
else {
//xxxx
}
}

　　这样来取文件的名字，来判断当前处理的行属于哪个文件，以此进行相应的处理。
　　2.  在hadoop 中我们经常需要对两个文件做一个join操作，即取两个文件的交集，或者在一个集合中过滤掉特定的集合，如果这个一个集合很小， 我们可以把这个集合加入到一个字典中，然后过滤, 在mapper 中这么写。

awk -F "\t" -v file=${smail_set} '
BEGIN{
while (getline < file > 0) {
dict[$1] = 1;
}  
}
{
if($1 in dict)
//xxxx
else
print xxxx
}
'
　　reducer 直接 uniq 即可
　　3.  如果两个集合做 join 或者补集的操作，那么只能对集合打标签，在mapper中我们这么写：

awk -F "\t" '
{
filename = ENVIRON["mapreduce_map_input_file"];
if (index(filename, "xxxx") > 0) {
print  $1"\t0\t"$0
}
else {
print $1"\t1\t"$0
}
}
　　第二列 一个0 一个1  用$1 让他们combine的时候到一起去，结合shuffle时候的二次排序，可以搞定