marty001 发表于 2018-8-22 07:43:55

Linux Shell学习-sed命令详解

  (1)、sed介绍
  Sed是流编辑器,stream editor,它是一个将一些列编辑命令作用于一批文本文件的理想工具。
  (2)、sed工作原理
  Sed是一个非交互式文本编辑器,它可以对文本文件和标准输入进行编辑,标准输入可以是来自键盘输入、文件重定向、字符串、变量,甚至来自管道的文本。
  Sed从文本的一个文本行或标准输入中读取数据,将其复制到缓冲区,然后读取命令行或脚本的第一个命令,对此命令要求的行号进行编辑,重复此过程,直到命令行或脚本中的所有命令都执行完毕。
  相对于诸如vi等其他文本编辑器,sed可以一次性处理所有的编辑任务,显得非常高效,为用户节省大量的时间。
  (3)、Sed使用场景

[*]  编辑相对交互式文本编辑器而言太大的文件
[*]  编辑命令太复杂,在交互式文本编辑器中难以输入的情况
[*]  对文件扫描一遍,但是需要执行多个编辑函数的情况。
  (4)、sed执行三种方式

[*]  在shell命令行输入命令调用sed
  格式:sed [选项] ‘sed命令’ 输入文件

[*]  将sed命令插入脚本文件后,然后通过sed命令调用
  格式:sed [选项] -f sed脚本文件输入文件

[*]  将sed命令插入脚本文件后,最常用的方法是设置该脚本文件为可执行,然后执行该脚本。
  格式:shell>./sed脚本文件输入文件
  不指定输入文件,sed将从标准输入中接收输入。
  (5)、sed常用选项

[*]  -n 不打印所有行到标准输出
[*]  -e 表示将下一个字符串解析为sed编辑命令,如果只有一个编辑命令给sed,-e选项可以省略。
[*]  -f 表示正在调用sed脚本文件。
  (6)、sed命令
  Sed命令通常由定位文件行和sed编辑两部分组成。
  Sed编辑命令对定位文本行进行各种处理。
  Sed提供以下两种文本

[*]  使用行号,指定一行,或指定行号范围
[*]  使用正则表达式
  Sed定位文本的方法如下:

[*]  x x为指定行号
[*]  x,y 指定从x到y的行号范围
[*]  /pattern/ 查询包含模式的行
[*]  /pattern/pattern/ 查询包含两个模式的行
[*]  /pattern/,x 从与pattern的匹配行到x号行之间的行
[*]  x,/pattern/ 从x号行到与pattern的匹配行之间的行
[*]  x,y! 查询不包含x到y行号的行
  sed编辑命令

[*]  p 打印匹配行
[*]  = 打印文件行号
[*]  a\ 在定位行号之后追加文本信息
[*]  i\ 在定位行号之前追加文本信息
[*]  d 删除定位行
[*]  c\ 用新文本替换定位文本
[*]  s 是替换模式替换相应模式
[*]  r 从另一个文件中读文本
[*]  w 将文本写入到一个文件
[*]  y 变换字符
[*]  q 第一个模式匹配完成后退出
[*]  l 显示与八进制ASCII码等价的控制字符
[*]  {} 在定位行执行的命令组
[*]  n 读取下一个输入行,用下一个命令处理新的行
[*]  h 将模式缓冲区的文本复制到保持缓冲区
[*]  H 将模式缓冲区的文本追加到保持缓冲区
[*]  x 互换模式缓冲区和保持缓冲器的内容
[*]  g 将保持缓冲区的内容复制到模式缓冲区
[*]  G 将保持缓冲区的内容追加到模式缓冲区
[*]
  (7)、sed示例
  1)、-n选项
  -n选项表示不打印文件的所有行。
  Sed编辑命令p选项:实现打印匹配行。
  -n结合p实现打印匹配到的行
# cat a4.txt66888777877777887777788877778888777888 9998888888888777778abc7777a87ccccA87ccccYou have new mail in /var/spool/mail/root# cat a4.txt |sed'1p'6688877766888777877777887777788877778888777888 9998888888888777778abc7777a87ccccA87cccc# cat a4.txt |sed -n '1p'66888777####/pattern/,x 从与pattern的匹配行到x号行之间的行###### cat a4.txt -n   166888777   2877777   38877777   48887777   58888777   6888 999   78888888   888877777   98abc7777    10a87cccc    11A87cccc## cat a4.txt |sed -n '/^87.*/,8p'877777887777788877778888777888 999888888888877777#  2)、-e选项
  -e带多个编辑命令
  格式:sed [选项] –e 编辑命令1-e 编辑命令2 ….. 输入文件
# cat a4.txt -n|sed -n-e '1,3=' -e '1,3p'1   1668887772   28777773   38877777  3)、-f参数
Shell>cat a4.txt66888777877777887777788877778888777888 9998888888888777778abc7777a87ccccA87ccccShell>touch s1.sedShell>cat s1.sed#!/bin/sed -f/A87cccc/a\hello world \what\whoshell>chmod a+x s1.sedshell>./s1.sed a4.txt66888777877777887777788877778888777888 9998888888888777778abc7777a87ccccA87cccchello worldwhatwho  4)、匹配最后一行
  Sed结合$符号匹配最后一行。p参数可以在引号内也可以在引号外。
# cat a4.txt -n   166888777   2877777   38877777   48887777   58888777   6888 999   78888888   888877777   98abc7777    10a87cccc    11A87cccc# cat a4.txt -n|sed -n '$p'    11A87cccc# cat a4.txt -n|sed -n '$'p    11A87cccc#  5)、打印不在1-3之间的行
# cat a4.txt -n   166888777   2877777   38877777   48887777   58888777   6888 999   78888888   888877777   98abc7777    10a87cccc    11A87cccc# cat a4.txt -n|sed-n   '1,3!p'   48887777   58888777   6888 999   78888888   888877777   98abc7777    10a87cccc    11A87cccc#  6)、追加文本
  Sed编辑命令a\符号用户追加文本,它可以将制定文本的一行或多行追加到指定行后面。如果不指定文本追加位置,sed默认放置到每一行的后面。
  追加文本的格式为:
Sed ‘指定地址a\text’ 输入文件# cat a1.txt123456789333# cat a1.txt |sed '/456/a\hello'123456hello789333# cat a1.txt |sed 'a\hello'123hello456hello789hello333hello#  7)、插入文本
  插入文本和追加文本类似,区别仅在于追加文本是在匹配行的后面插入,而插入文本是在匹配行的前面插入,sed编辑命令的插入文本符号是i\,插入文本的格式为:
Sed ‘指定地址i\text’ 输入文件  
# cat a1.txt123456789333# cat a1.txt |sed '/456/i\hello'123hello456789333#  8)、修改文本
  将匹配到的行利用新文本替代。
  Sed编辑命令的修改文本符号为c\。
  修改文本的格式为:
Sed ‘指定地址c\text’输入文件# cat a1.txt123456789333# cat a1.txt |sed '/456/c\hello'123hello789333#  9)、删除文本
  Sed删除命令可以将指定行或指定行范围进行删除
  Sed编辑命令的删除文本符号为d,删除文本格式为:
Sed ‘指定地址d’输入文件  删除空行
# cat a2.txt123456789333# cat a2.txt |sed '/^$/d'123456789333#  10)、替换文本
  Sed替换文本操作将匹配的文本行利用新文本替换,替换文本与修改文本功能有相似之处,它们之前的区别在于:替换文本可以替换一个字符串,而修改文本是对整行进行修改。
  另外,替换文本通过替换选项使得文本替换更为灵活,功能更为强大,sed编辑命令的替换文本符号为s。
  替换文本的格式为:
Sed ‘s/被替换的字符串/新字符串/[替换选项]’ 输入文件  S表示sed指定替换文本操作,sed命令首先匹配被替换的字符串,匹配成功后用新字符串替换它。
  Sed替换选项

[*]  g 表示替换文本中所有出现被替换字符串之处
[*]  p 与-n选项结合,只打印替换行
[*]  w文件名表示将输出定向到一个文件
  替换选项为空
  如果替换选项为空,则打印出替换后的全部文本。并且替换只替换本行第一次匹配到的字符就停止,然后继续下一行。
# cat a1.txt123 a123456789333123# cat a1.txt |sed's/123/aaa/'aaa a123456789333aaa#  替换选项p
  -n –p结合使用:只打印替换行
# cat a1.txt123 a123456789333123# cat a1.txt |sed-n 's/123/aaa/p'aaa a123aaa#  缺少p命令,将不打印任何命令
# cat a1.txt123 a123456789333123# cat a1.txt |sed-n 's/123/aaa/'#  替换选项g
  g选项,替换本行所有匹配的字符串
# cat a1.txt123 a123456789333123# cat a1.txt |sed   's/123/aaa/g'aaa aaaa456789333aaa#  -n –p –g一起使用:打印匹配到的行,并且是替换匹配到的所有字符串
# cat a1.txt123 a123456789333123# cat a1.txt |sed-n's/123/aaa/pg'aaa aaaaaaa#  替换第几次匹配的字符串
# cat a1.txt123 a123456789333123# cat a1.txt |sed 's/123/aaa/2g'123 aaaa456789333123#  替换选项w
# cat a1.txt |sed    's/123/aaa/g w a11.txt'aaa aaaa456789333aaa# cat a11.txtaaa aaaaaaa#  已匹配字符串标记(&)
  在sed中,我们可以用 &标记匹配样式的字符串,这样就能够在替换字符串时使用已匹配的内容
  例如:
$ echo this is an example | sed 's/\w\+/[&]/g'   正则表达式 \w\+ 匹配每一个单词,然后我们用[&]替换它。& 对应于之前所匹配到的单词。
  子串匹配标记(\1)
  & 代表匹配给定样式的字符串。但我们也可以匹配给定样式的其中一部分。来看看具体的做法。
$ echo this is digit 7 in a number | sed 's/digit \(\)/\1/'this is 7 in a number  这条命令将digit 7替换为7。样式中匹配到的子串是7。\(pattern\)用于匹配子串。模式被包括在使用斜线转义过的()中。对于匹配到的第一个子串,其对应的标记是 \1,匹配到的第二个子串是 \2,往后依次类推。下面的示例中包含了多个匹配:
$ echo seven EIGHT | sed 's/\(\+\) \(\+\)/\2 \1/'EIGHT seven  (\+\)匹配第一个单词,(\+\)匹配第二个单词。\1和\2用来引用它们。这种引用被称为向后引用(back reference)。在替换部分,它们的次序被更改为\2 \1,因此结果就呈现出逆序的形式。
  11)、写入一个新文件
  Sed命令只是对缓冲区中输入文件的复制内容进行编辑,如果要保存编辑结果,需要将年纪后的文本重定向到另一个文件,sed写入文件的符号为w
  基本格式为:
Sed ‘指定地址 w 文件名’ 输入文件# cat a1.txt123 a123456789333123# cat a1.txt |sed -n'/12/p'123 a123123# cat a1.txt |sed -n'/12/ w a2.txt'# ll总用量 8-rw-r--r-- 1 root root 25 9月   6 20:52 a1.txt-rw-r--r-- 1 root root 13 9月   6 21:53 a2.txt# cat a2.txt123 a123123#  12)、从文件中读入文本
  Sed命令可以将其他文件中的文本读入,并附加在指定地址之后,sed读入文件的符号为r
  基本格式为
Sed ‘指定地址 r 文件名’ 输入文件# cat a1.txt123 a123456789333123# cat a3.txtwho are youhow to learn# cat a1.txt |sed'4 r a3.txt'123 a123456789333who are youhow to learn123# cat a1.txt |sed'/333/r a3.txt'123 a123456789333who are youhow to learn123#  13)、退出命令
  Sed命令的q选项表示完成指定地址的匹配后立即退出
  基本格式为
Sed ‘指定地址 q’  打印前三行
# cat a1.txt123 a123456789333123# cat a1.txt |sed'3 q'123 a123456789#  匹配到123马上退出
# cat a1.txt123 a123456789333123# cat a1.txt |sed'/123/ q'123 a123#  14)、变换命令
  Sed命令的y选项表示字符变换,它将一些列的字符变换为响应的字符
  Sed y命令是对字符的逐个处理
  基本格式为
Sed ‘y/被变换的字符序列/变换的字符序列/’ 输入文件  Sed y命令将被变换字符序列中的字符逐个用变换字符序列中的字符替代,要求被变换的字符序列和变换的字符序列等长,否则sed y命令将报错。
# cat a1.txt123 a123456789333123# cat a1.txt |sed 'y/a/A/'123 A123456789333123# cat a1.txt |sed 'y/a2/AT/'1T3 A1T34567893331T3#  15)、显示控制字符
  控制字符就是非打印字符,如退格键,F1键、shift键等,有些文件中会包含这些字符,l命令可以显示文件中的控制字符,方便用户对控制字符进行处理。
# cat a1.txt123 a123456789333123# cat a1.txt |sed -n'3,$l'789$333$123$#  16)、在定位行执行命令组
  Sed编辑命令中的{}符号可以指定在定位行上所执行的命令组,它的作用于sed的-e选项类似,都是为了在定位行执行多个编辑命令。
# cat a1.txt123 a123456789333123# cat a1.txt |sed -n'3,$ {p;=}'789333341235# cat a1.txt |sed -n-e '3,$p' -e '3,$='789333341235#  17)、-i选项
  -i选项直接修改文件中文本内容。
# cat a1.txt123 a123456789333123# sed -i 's/123/BBB/g' a1.txt# cat a1.txtBBB aBBB456789333BBB#  18)、编辑命令n-处理匹配行的下一行
  Sed编辑命令n的意义是读取下一个输入行,用n后面的一个命令处理该行,由于此时通常有多个编辑命令,所以编辑命令n需要与{}符号结合使用。
# cat a1.txt456BBB aBBB456789333BBB456# cat a1.txt |sed '/BBB/{n;s/456/AAA/;}'456BBB aBBBAAA789333BBBAAA#  19)、组合多个表达式
# cat a1.txt456BBB aBBB456789333BBB456# cat a1.txt |sed -n '/BBB/p;/456/p'456BBB aBBB456BBB456#  可以利用管道组合多个sed命令:
sed 'expression' | sed 'expression'  它等价于
$ sed 'expression; expression'  或者
$ sed -e 'expression' -e expression'  20)、sed中的引用
  sed表达式通常用单引号来引用。不过也可以使用双引号。双引号会通过对表达式求值来对其进行扩展。当我们想在sed表达式中使用一些变量时,双引号就能派上用场了。
  例如:
$ text=hello$ echo hello world | sed "s/$text/HELLO/"HELLO world  $text的求值结果是hello。


页: [1]
查看完整版本: Linux Shell学习-sed命令详解