shell三剑客之一AWK的使用

lrx182125

　　AWK简介：
　　AWK是一个强大的文本分析工具， 相对于其它两个grep和sed的编辑，AWK对数据的分析和处理，凸显其特性，AWK的命名来 源于它的创始者,(Alfred Aho 、Peter Weinberger 和 Brain)
　　以下是AWK的三个版本
　　原始的AWK
　　新的NAWK
　　POSIX/GNU版本的GAWK
　　基本语法：
　　awk ‘{pattern action}’ {filenames}
　　尽管操作可能会复杂，但是语法是这样的简单，其中pattern表示AWK在数据中查找的内容，而action是在找到匹配内容时所执行的一系列命令。花括号‘{}’不需要始终出现，但它们用于根据特定的模式对一系列指令进分组。pattern也可以用正则表达式，使用的时候需要向sed一样用“/ /”
　　awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他 文本操作。完整的awk脚本通常用来格式化文本文件中的信息。
　　使用AWK
　　1、模式AWK [ -F ]  'commands'  file
　　F区域分隔符是可选的，默认的情况下是以空格和制表符分隔 commands是命            令，file是指定的文件：
　　例如：
　　[root@localhost python]# last -n 3
　　root     pts/0        192.168.126.1    Wed Jan  6 18:31   still logged in
　　root     pts/0         :0                       Wed Jan  6 18:02 - 18:03  (00:00)
　　root     :0             :0                       Wed Jan  6 18:02   still logged in
　　如果只显示最近登录的账号：
　　[root@localhost python]# last -n 3 | awk '{print $1}'
　　root
　　root
　　root
　　shell脚本方式
　　将所有的AWK命令插入一个文件，并使用AWK程序可执行，然后AWK命令解释器作为脚本的首行，一遍通过键入脚本名称来调用头文件中用#!/bin/awk 代#!/bin/sh
　　例题：
　　1、如果只是显示/etc/passwd的账户
　　#cat /etc/passwd |awk  -F ':'  '{print $1}'
　　root
　　daemon
　　bin
　　sys
　　这种是awk+action的示例，每行都会执行action{print $1}。
　　-F指定域分隔符为':'。
　　2、如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割
　　#cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'
　　root    /bin/bash
　　daemon  /bin/sh
　　bin     /bin/sh
　　sys     /bin/sh
　　如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。
　　3、cat /etc/passwd |awk -F ':'  'BEGIN {print "name,shell"}{print $1 "," $7}{END {print "blue,/bin/nosh"}'
　　name,shellroot,/bin/bash
　　daemon,/bin/sh
　　bin,/bin/sh
　　sys,/bin/sh....
　　blue,/bin/nosh
　　搜索/etc/passwd有root关键字的所有行
　　4、#awk -F: '/root/' /etc/passwdroot:x:0:0:root:/root:/bin/bash
　　这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。
　　搜索支持正则，例如
　　找root开头的: awk -F: '/^root/' /etc/passwd
　　5、搜索/etc/passwd有root关键字的所有行，并显示对应的shell
　　# awk -F: '/root/{print $7}' /etc/passwd
　　/bin/bash
　　这里指定了action{print $7}
awk内置变量
　　awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。
　　ARGC               命令行参数个数
　　ARGV               命令行参数排列
　　ENVIRON            支持队列中系统环境变量的使用
　　FILENAME           awk浏览的文件名
　　FNR                浏览文件的记录数
　　FS                 设置输入域分隔符，等价于命令行 -F选项
　　NF                 浏览记录的域的个数
　　NR                 已读的记录数
　　OFS                输出域分隔符
　　ORS                输出记录分隔符
　　RS                 控制记录分隔符
　　统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:
　　[root@localhost /]#cat /etc/passwd|awk -F':' '{print "filename:" FIENAME ",linenumber:" NR ",columns:" NF ",linecontent:" $0}'
　　filename:,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
　　filename:,linenumber:2,columns:7,linecontent:bin:x:1:1:bin:/bin:/sbin/nologin
　　filename:,linenumber:3,columns:7,linecontent:daemon:x:2:2:daemon:/sbin:/sbin/nologin
　　filename:,linenumber:4,columns:7,linecontent:adm:x:3:4:adm:/var/adm:/sbin/nologin
　　filename:,linenumber:5,columns:7,linecontent:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
　　filename:,linenumber:6,columns:7,linecontent:sync:x:5:0:sync:/sbin:/bin/sync
　　filename:,linenumber:7,columns:7,linecontent:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
　　filename:,linenumber:8,columns:7,linecontent:halt:x:7:0:halt:/sbin:/sbin/halt
　　filename:,linenumber:9,columns:7,linecontent:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
　　……
　　使用printf替代print,可以让代码更加简洁，易读
　　awk -F':''{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd
awk编程
　　变量和赋值
　　除了awk的内置变量，awk还可以自定义变量。
　　统计/etc/passwd用户的人数：
　　awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd
　　root:x:0:0:root:/root:/bin/bash......
　　user count is  40
　　count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。
　　这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0:
　　awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd
　　[start]user count is  0root:x:0:0:root:/root:/bin/bash...
　　[end]user count is  40
　　统计某个文件夹下的文件占用的字节数
　　ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
　　[end]size is  8657198
　　如果以M为单位显示:
　　ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}'
　　[end]size is  8.25889 M
　　注意，统计不包括文件夹的子目录。