awk及perl学习笔记
注：AWK的正则表达式竟然不支持零宽断言！perl是支持零宽断言的，但是perl中的程序要达到awk的效率需要考虑的问题太多。于是笔者用两次匹配（第一次匹配后再过滤一次）的方法代替零宽断言：awk /$key/'{if($0~/\/\/.*$key|\/\*.*$key|$key.*\*\//) ; else printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles
但是上句并不能奏效，因为awk语句内部是不能识别shell中定义的变量的，所以{}内不能出现$val这样引用变量的方法，而只能是val这样引用。但是用awk -v xxx=$val是可以把shell的变量引入awk的。我最终是在awk -v 处定义正则表达式的，并在正则表达式中引用shell里的变量$key。注意，在这里，正则表达式中每使用一个右斜杆，需要在此右斜杆前再加2个右斜杆以供解释器转义！
最后可以运行的语句
awk -v reg="\\\/\\\/.*$key|\\\/\\\*.*$key|$key.*\\\*\\\/" /$key/'{if($0 ~ reg ) ; else printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles
这个语句我用了几天后发现还有一个小小的问题：它总是先执行``中的find命令，find完全结束后在执行AWK。这带来一个buffer的毛病，在文件量很大、层数很多的工程中，搜索时不能即时看到结果。而find和awk都是无buffer的，这种通过``组合起来的命令却造成了buffer。我尝试用|管道来写这个语句，但是当把find的输出输入awk时，awk并不能把它们解析成一个个的文件名，而是把find的每一行输出认为是一行待处理的文本来处理。
经过半个上午+一个下午的努力，我用perl解决了这个问题，第一次接触perl语言，遇到了一些障碍，所幸在一天内攻克了，下面这个脚本在查找效率和输入便捷上都很可观：
findme.pl源文件
#!/usr/bin/env perl
# program: find specific text in files with specific names
# Made by:Daiyyr
# date:2013/03/14
use 5.10.1;
use strict;
use warnings;
use POSIX qw(strftime);
my $key;
my $fname;
sub find{
my @dirs = <$_/*>;
my $count = @dirs;
my $len = length($_);
if($count == 0){
return 1;
}
my $i=0;
while($i<$count){
if(-d $dirs[$i]){
&find("$dirs[$i]", $_);
}
else{
if(substr($dirs[$i],$len+1) =~ m/$_/){
if( substr($dirs[$i],$len+1) eq "log_finding_${key}_in_${fname}"){
$i++;
next;
}
open(FILE, $dirs[$i]) || die("open file failed: $dirs[$i]\n");
while(my $line=<FILE>){
if($line =~ m/$key/ && $line !~ m/\/\/.*$key|\/\*.*$key|$key.*\*\//){
print("$dirs[$i] : $. : $line");
print LOG ("$dirs[$i] : $. : $line");
}
}
close(FILE) || die("close file failed: $dirs[$i]\n");#猜测若不显式地关闭，一样要自动地隐式关闭，并不能节省时间
}
}
$i++;
}#end of while
}
print "input your files' name(could be regex):\n";
$fname = <STDIN>;
chomp($fname);
print "input your key word(could be regex):\n";
$key = <STDIN>;
chomp($key);
open(LOG, ">log_finding_${key}_in_${fname}") || die("open file failed: log_finding_${key}_in_${fname}\n");
print LOG ("search time: ".strftime("%Y-%m-%d %H:%M:%S\n", localtime(time))."key words:${key},file name:${fname},path:$ENV{'PWD'}\n\n");
&find(".", $fname);
close(LOG) || die("close file failed: log_finding_${key}_in_${fname}\n");
壹、参考：
维基百科AWK条目：http://zh.wikipedia.org/zh-cn/AWK
某人AWK学习笔记：http://man.lupaworld.com/content/manage/ringkee/awk.htm#id2808925
贰、总结
0. ``这个符号用于标记命令语句。比如需要在shell执行一个语句，而输出结果并不显示在屏幕，而是把输出结果传送到某个地方，作为另一个命令或表达式地一部分， 此时用``将这个命令语句标记起来，例子：
awk /$key/'{printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles
0.5 tee，在保留原先保准输出的途径的情况下，再将标准输出导入到其它地方。
1。若不使用文件定义script的话，单引号是必须的，标记模式和操作。若把模式和操作放在一个单引号内，模式如果是正则表达式且表达式中含变量的话，这个正则表达式可能失效；如果只把操作放在单引号内，则模式必须紧挨着单引号，几乎只有此方法是正确的；不能用2个单引号分别标记模式和操作。举例如下：
awk '/f/ {print "good job"}' a 此时正则表达式中没变量，正确；但是：
awk '/$key/ {printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` 错误！正则表达式失效
awk /f/'{print "good job"}' a 正确，都使用这种方法就好了。
awk /f/ '{print "aa"}' a 错误
awk '/f/' '{print "aa"}' a 错误
2. ORS（输出记录分隔符）只改变print的行为。而printf相当于外部函数，它的行为不受AWK变量限制，所以：
awk -v ORS="\n\n" /f/'{printf("%d\n", NR)}' a输出依然是一个换行符间隔
awk -v ORS="\n\n" /f/'{print NR}' a输出是两个换行符间隔
awk/f/'{ORS="\n\n"; print NR}' a这条命令与上条作用完全相同
3. 据上面最后一行提示，可知，变量的定义可以在script部分，也可以在选项部分
4. AWK允许运算符~，用来测试正则表达式是否可以与一字符串匹配，用法举例：$0 ~ /regexp/
叁、部分我使用过的命令：
多文件搜索：
awk /$key/'{printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles
BEGIN用法：
awk 'BEGIN { print "Hello, world!" }' a
文件内部排序：
grep -oP 'http:.*\.jpg' > ａ
awk -vFS="/" '{printf("mv %s %d.jpg\n", $NF, NR);}' a|sh
上面2条命令实际用法详见http://blog.iyunv.com/uid-24245847-id-3192460.html
把以\结尾的行与下一行作为一条记录。尝试没有成功。在网页测试中，[^(\\)]\n 这个是可以排除以右斜杠结尾的行的，但在AKW中无法排除
awk '{RS="[^(\\)]\n"; ORS="END\n"; print $0}' a
页:
[1]