a6266318 发表于 2018-8-19 06:20:21

shell四剑客awk

  (1) awk原理
  awk的原理是逐行处理文件中的数据,查找与命令行所给定内容相匹配的内容,如果发现匹配内容,则进行下一步编程。如果找不到匹配内容,则继续处理下一行。
  (2) awk实战
   jfedu.txt文件中,查找jd.com这一行,在屏幕上打印出来(用awk和sed进行查找)
  sed-n'/jd.com/p' jfedu.txt       awk'/jd.com/'   jfedu.txt
  注释:
  awk 和 sed 一样同样具有查找功能,不同的是awk进行查找时不需要加p参数
   jfedu.txt文件中,查找jd.com 和baidu.com 这一行 ,在屏幕上打印出来(用awk和sed进行查找)
  sed   -n'/jd.com/,/baidu.com/p'jfedu.txt         awk '/jd.com/,/baidu.com/'jfedu.txt
   jfedu.txt文件中,打印第一列和第二列
  awk '{print $1,$2}'jfedu.txt
   jfedu.txt文件中,如写成这个样式(例如:1:2:3:4:5),用awk 打印出数字来(不要把:打印出来)
  sed 's/:/ /g' jfedu.txt | awk '{print $1,$2,$3,$NF}'
  注释:
  $1 $2$3   表示打印第一列第二列第三列
  $NF表示打印最后一列
   jfedu.txt文件中,打印第一行和第一列
  awk'{print NR,$1}' jfedu.txt
   打印jfedu.txt全部内容
  awk'{print $0}' jfedu.txt
   查看access.log日志文件,查找排名前20位的ip, 从小到大进行排列,去掉重复的ip
  awk '{print $1}'access.log| sort -nr|uniq-c |sort -nr|head -20
   查看access.log日志文件, 查找9:00 - 10:00 , 查找排名前20名的ip, 从小到大进行排列,去除重复ip
  awk '/9:00/,/10:00/' access.log |awk '{print $1}'access.log| sort -nr|uniq-c |sort -nr|head -20
   用df -h查看磁盘分区,要求: 只查看大于等于第二行的内容 ,第一列
  df -h | awk 'NR>=2 {print $1}'
   打印passwd密码文件的第一列,并把输出的内容追加到name.csv文件中
  awk -F: '{print $1}' /etc/passwd >name.csv
   awk 以冒号进行切割,打印passwd文件的第一列和最后一列,但只显示第三行和第五行
  awk -F: 'NR==3,NR==5 {print $1}' /etc/passwd
   awk指定文件jfedu.txt文件中第一列的总和
  cat jfedu.txt| awk '{sum+=$1}END {print sum}'
   awk NR 行号除于2余数为0,则跳过这行,继续执行下一行,打印在屏幕上
  awk -F: 'NR%2==0 {next} {print NR , $1}'/etc/passwd
   awk NR 行号除于2余数为1,则跳过这行,继续执行下一行,打印在屏幕上
  awk -F: 'NR%2==1 {next} {print NR , $1}'/etc/passwd
   awk分析Nginx日志状态码是404,502等错误页面,打印出页面打开时间,用户访问ip, ,用户访问页面的地址,并对ip从小到大进行排序,查看排在前
  20的ip
  awk -F: '$9~/404|301|502|/ {print $1,$7,$9,$NF}' access.log | sort -nr| uniq-c |sort -nr | head -20|

页: [1]
查看完整版本: shell四剑客awk