利用grep和awk来分析nginx日志

奥尔覅几22

　　前几天刚说了用logparser分析iis日志，但是发现我们公司的日志的Linux下的nginx日志，用logparser无法分析。后来看了一些资料原来可以用grep和akw命令来对日志进行分析。但是这要在Linux环境下才能操作，电脑上没有装Linux的可以安装一个模拟器，基本上能满足一些需求了。推荐用Cygwin，安装包很小，安装起来很方便。可在官网下载，下载地址：http://www.cygwin.com/

　　然后按照提示安装就可以了。会在桌面出现这个 ，但是点击就可以了。
　　先说下grep的用法，Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。
　　格式：
　　grep [options]
　　主要的参数：
　　-c：只输出匹配行的计数。
　　-i：不区分大小写(只适用于单字符)。
　　-h：查询多文件时不显示文件名。
　　-l：查询多文件时只输出包含匹配字符的文件名。
　　-n：显示匹配行及行号。
　　-s：不显示不存在或无匹配文本的错误信息。
　　-v：显示不包含匹配文本的所有行。
　　pattern正则表达式主要参数：
　　\：忽略正则表达式中特殊字符的原有含义。
　　^：匹配正则表达式的开始行。
　　$:匹配正则表达式的结束行。
　　\：到匹配正则表达式的行结束。
　　[ ]：单个字符，如[A]即A符合要求。
　　[ - ]：范围，如[A-Z]，即A、B、C一直到Z都符合要求。
　　。：所有的单个字符。
　　*：有字符，长度可以为0。
　　例：
　　比如把rizhi.log中所有百度蜘蛛的信息提取出来并显示行数结果放入baiduspider.txt文件中
　　$ grep -n'Baiduspider' rizhi.log >baidu.txt
　　修改：用grep来筛选还是有些不准备，因为有些访问记录是模拟百度蜘蛛的，那人选取的记录就不准确，可以用awk来筛选
　　cat rizhi.log|awk '$14~/Baiduspider/'>baidu.txt

　　我们还可以把日志中所以404状态的记录提前出来，放到404.txt文档中
　　$ grep'404' rizhi.log >404.txt

　　但是你会发现，很多不是404状态的记录也被抓取了。原来grep命令是文本搜索命令，会逐条搜索记录，把符合条件的筛选出来。那么这样去筛选就不准确，因此需要用到awk来分割记录，然后抓取。
　　cat rizhi.log|awk '$9~/404/' >404.txt
　　这就用awk很轻松的把日志中404状态的记录提取出来。
　　awk语法：
　　awk [-F re] [parameter...]['program'] [-f 'programfile'] [in_file_list]
　　-F re：允许awk更改其字段分隔符。awk默认参数是空格，可以不写。
　　我们分析下日志的格式
　　61.174.11.15|-|-|[12/Mar/2013:19:00:36|+0800]|"GET|/|HTTP/1.1"|200|16667|"-"|"Baiduspider+(+http://www.baidu.com/search/spider.htm)""
　　在空格处用竖线把这条记录分割几块，用$n表示具体位置。61.174.11.15就是$1,上个例子中状态码404就是$9.
　　我们截取百度蜘蛛访问的来源IP、时间、抓取的URL、返回码和抓取的大小。
　　cat rizhi.log|grep"Baiduspider" |awk '{print $1 , $4 , $7 , $8 , $9 , $10}'>Baiduspider.txt
　　Uniq去除重复命令
　　c:输出重复行的重复次数
　　d:尽输出重复的行
　　f:忽略一些字段，只比较制定字段
　　i:忽略大小写
　　d:忽略一些字符，只比较指定的字符
　　u:输出不重复行
　　w:制定要比较字符位置
　　sort排序命令
　　-b 忽略每行前面开始出的空格字符。
　　-c 检查文件是否已经按照顺序排序。
　　-d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符。
　　-f 排序时，将小写字母视为大写字母。
　　-i 排序时，除了040至176之间的ASCII字符外，忽略其他的字符。
　　-m 将几个排序好的文件进行合并。
　　-M 将前面3个字母依照月份的缩写进行排序。
　　-n 依照数值的大小排序。
　　-o 将排序后的结果存入指定的文件。
　　-u输出行中删除重复项
　　-r 以相反的顺序来排序。
　　-t 指定排序时所用的栏位分隔字符。
　　+- 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。
　　下面整理下grep，awk分析日志常用案例。
　　1.分析日志内，当天访问次数最多的10个页面，并且按降序排列。
　　cat rizhi.log|awk ‘{print$7}’|sort|uniq –c|sort –nr|head -10>example.txt

　　2．获取访问最高的10个IP地址
　　cat rizhi.log|awk '{print $1}'|sort|uniq -c|sort -nr|head -10>topip.txt

　　3.查看新闻频道的访问和蜘蛛,并且统计数量
　　catrizhi.log|awk '$14~/Baiduspider/'|awk '$7 ~/^\/news/ {print $0}'|wc-l

　　4.查看百度蜘蛛抓取不重复页面，并统计数量
　　cat rizhi.log|awk'$14~/Baiduspider/'|awk ’{print $7}’ |sort -u|wc -l

　　4.查看百度蜘蛛访问网站404状态码
　　cat rizhi.log|awk '$14~/Baiduspider/'|awk '$9~/404/'
　　
　　日志分析的目的：
　　1.监控蜘蛛的抓取数量
　　2.监控状态码的异常
　　3.监控重复的抓取率
　　4.监控蜘蛛的载入耗时
5.提高有效抓取,推动收录.（提高蜘蛛爬行效率，抓取核心页面）　　6.
持续监控,持续改善.提升效果。（数据的同比和环比，持续改善）