一、sed工作流程
sed 是一种在线的、非交互式的编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。
典型工作流:读取行 → 模式空间 → [处理] → [可选与暂存空间交互] → 输出 → 清空模式空间 → 下一行
修改/处理暂存需求交换/追加是否输入流读取一行到模式空间执行命令模式空间操作暂存空间操作输出模式空间还有下一行?结束
模式空间 (Pattern Space)
- 每行文本的默认工作区
- 所有常规操作(如
s///
,p
,d
)都在此进行 - 默认会输出模式空间内容(除非用了
-n
或d
)
暂存空间 (Hold Space)
- 临时数据存储区
- 通过特殊命令交互:
h
/H
:模式空间 → 暂存空间(覆盖/追加)g
/G
:暂存空间 → 模式空间(覆盖/追加)x
:交换两个空间内容
二、命令格式
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
注:
sed和grep不一样,不管是否找到指定的模式,它的退出状态都是0
只有当命令存在语法错误时,sed的退出状态才是非0
三、支持正则表达式
与grep一样,sed在文件中查找模式时也可以使用正则表达式(RE)和各种元字符。正则表达式是括在斜杠间的模式,用于查找和替换,以下是sed支持的元字符。
使用基本元字符集 ^, $, ., *, [], [^], \< \>,\(\),\{\}
使用扩展元字符集 ?, +, { }, |, ( )
四、sed基本用法
# sed -r '' /etc/passwd
# sed -r 'p' /etc/passwd
# sed -r -n '' /etc/passwd
# sed -r -n 'p' /etc/passwd
# sed -r -n '/root/p' /etc/passwd
# sed -r 's/root/alice/' /etc/passwd
# sed -r 's/root/alice/g' /etc/passwd
# sed -r 's/root/alice/gi' /etc/passwd
# sed -r '/root/d' /etc/passwd
# sed -r '\#root#d' /etc/passwd
[root@lichu ~] vim a.txt
/etc/abc/456
etc
[root@lichu ~]# sed -r '//etc/abc/456/d' a.txt
sed:-e 表达式 #1,字符 0:no previous regular expression
[root@lichu ~]# sed -r '/\/etc\/abc\/456/d' a.txt
/etc/abc/456
[root@lichu ~]# sed -r '\#/etc/abc/456#d' a.txt
/etc/abc/456
[root@lichu ~]# sed -r 's#/etc/abc/456#/dev/sda1#'
五、sed扩展
==地址
地址
用于决定对哪些行进行编辑。地址形式可以是数字
、正则表达式
或 二者的结合
。如果没有指定地址,sed将处理输入文件中的所有行。
# sed -r 'd' /etc/passwd
# sed -r '3d' /etc/passwd
# sed -r '1,3d' /etc/passwd
# sed -r '/root/d' /etc/passwd
# sed -r 's/root/alice/g' /etc/passwd
# sed -r '/^adm/,7d' /etc/passwd //从adm行开始,删除到第7行
# sed -r '/^adm/,+7d' /etc/passwd //从adm行开始,额外再删除7行
# sed -r '2,5d' /etc/passwd //从第二行开始,删除到第5行
# sed -r '2,+5d' /etc/passwd //从第二行开始,额外再删除5行
# sed -r '/root/d' /etc/passwd //删除含有'root'的行
# sed -r '/root/!d' /etc/passwd //删除含有'root'以外的行
# sed -r '1~2d' /etc/passwd //删除所有奇数行 odd-numbered
# sed -r '0~2d' /etc/passwd //删除所有偶数行 even-numbered
==命令
命令
告诉sed对指定行进行何种操作,包括打印、删除、修改等。
命令 | 功能 |
---|---|
a | 在当前行后添加一行或多行 |
c | 用新文本修改(替换)当前行中的文本 |
d | 删除行 |
i | 在当前行之前插入文本 |
l | 列出非打印字符 |
p | 打印行 |
n | 读入下一输入行,并从下一条命令而不是第一条命令开始对其的处理 |
q | 结束或退出sed |
! | 对所选行以外的所有行应用命令 |
s | 用一个字符串替换另一个 g 全局替换 i 忽略大小写 |
r | 从文件中读 |
w | 将行写入文件 |
y | 将字符转换为另一字符(不支持正则表达式) |
h | 把模式空间里的内容复制到暂存缓冲区(覆盖) |
H | 把模式空间里的内容追加到暂存缓冲区 |
g | 取出暂存缓冲区的内容,将其复制到模式空间,覆盖该处原有内容 |
G | 取出暂存缓冲区的内容,将其复制到模式空间,追加在原有内容后面 |
x | 交换暂存缓冲区与模式空间的内容 |
==选项
选项 | 功能 |
---|---|
-e | 允许多项编辑 |
-f | 指定sed脚本文件名 |
-n | 取消默认的输出 |
-i | inplace,就地编辑 |
-r | 支持扩展元字符 |
六、sed命令示例
打印命令:p
# sed -r '/north/p' datafile
# sed -r -n '/north/p' datafile
删除命令:d
# sed -r '3d' datafile
# sed -r '3{d;}' datafile
# sed -r '3{d}' datafile
# sed -r '3,$d' datafile
# sed -r '$d' datafile
# sed -r '/sout/d' datafile
# sed -r '/north/d' datafile
# sed -r '/\<north\>/d' datafile # \<单词\> 单词边界
# sed -r '/\bnorth\b/d' datafile # \b单词\b 单词边界
查找替换命令:s (c整行替换,s仅替换匹配的内容)
# sed -r 's/west/north/g' datafile
# sed -r 's/^west/north/g' datafile
# sed -r 's/[0-9][0-9]$/&.5/' datafile # &代表在查找串中匹配到的内容
# sed -r 's/(Mar)got/\1YANGGE/g' datafile # \1引用前面第一个字符组()
# sed -r 's/(Margot) (Weber)/\2 \1/g' datafile # \2引用Weber \1引用Margot
# sed -r 's/(.*)/YYY\1/g' datafile # .*表示整行,\1引用第一个字符组()
# sed -r 's/3/88/g' datafile
# sed -r 's#3#88#g' datafile
# sed -r 's@3@88@g' datafile
读文件命令:r
# sed -r '/Chris/r /etc/hosts' datafile # 匹配到'Chris'行,读入外部文件
# sed -r '2r /etc/hosts' datafile # 处理到第2行时,读入外部文件
写文件命令:w
# sed -r '/Chris/w newfile' datafile # 匹配到'Chris'行,写入新文件
# sed -r '3,$w /new1.txt' datafile # 将第3行到最后一行,写入新文件
追加命令:a
# sed -r '2aYYYYYYYYYYY' datafile # a可以写成a\
# sed -r '/Chris/aYYYYYYYYYYY' datafile
插入命令:i
# sed -r '2iYYYYYYYYYYY' datafile # i可以写成i\
# sed -r '/Chris/iYYYYYYYYYYY' datafile
修改命令:c
# sed -r '2cYYYYYYYYYYY' datafile # c可以写成c\
# sed -r '/Chris/cYYYYYYYYYYY' datafile
实战案例1: SSH服务不反向解析
将/etc/ssh/sshd_config文件中
#UseDNS yes 换成 UseDNS no
# sed -ri '/^#UseDNS yes/c\UseDNS no' /etc/ssh/sshd_config
实战案例2: SELINUX设置为开机不启动
# sed -ri '/^SELINUX=/c\SELINUX=disabled' /etc/selinux/config
获取下一行命令:n
# sed -r '/eastern/{n; d}' datafile
# sed -r '/eastern/{n; s/AM/Archile/}' datafile
暂存和取用命令:h H g G
# sed -r '1h;$G' /etc/hosts # 第一行放入(覆盖)暂存空间,到最后一行从暂存空间取回(追加)到模式空间
# sed -r '1{h;d};$G' /etc/hosts # 将第一行移动到最后
# sed -r '1h; 2,$g' /etc/hosts # 将第二行到最后一行一行,替换成第一行
# sed -r '1h; 2,3H; $G' /etc/hosts # 将1-3行复制到最后
# sed -r '1{h;d};2,3{H;d};$G' /etc/hosts # 将1-3行剪切到最后
暂存空间和模式空间互换命令:x
# sed -r '4h; 5x; 6G' /etc/hosts
反向选择: !
# sed -r '3d' /etc/hosts
# sed -r '3!d' /etc/hosts
多重编辑选项:-e
# sed -r -e '1,3d' -e 's/Hemenway/Jones/' datafile
# sed -r '1,3d; s/Hemenway/Jones/' datafile
# sed -r '2s/WE/1000phone/g; 2s/Gray/YYY/g' datafile
# sed -r '2{s/WE/1000phone/g; s/Gray/YYY/g}' datafile
七、sed常见操作
删除配置文件中#号注释行
sed -ri '/^#/d' file.conf # 以#开头
sed -ri '/^[ \t]*#/d' file.conf # 以 零到多个空格或tab,再加上#
删除配置文件中//号注释行
sed -ri '\@^[ \t]*//@d' file.conf
删除无内容空行
sed -ri '/^[ \t]*$/d' file.conf
删除注释行及空行:
# sed -ri '/^[ \t]*#/d; /^[ \t]*$/d' /etc/vsftpd/vsftpd.conf
# sed -ri '/^[ \t]*#|^[ \t]*$/d' /etc/vsftpd/vsftpd.conf
# sed -ri '/^[ \t]*($|#)/d' /etc/vsftpd/vsftpd.conf
修改文件示例:
# sed -ri '$a\chroot_local_user=YES' /etc/vsftpd/vsftpd.conf
# sed -ri '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config
# sed -ri '/UseDNS/cUseDNS no' /etc/ssh/sshd_config
# sed -ri '/GSSAPIAuthentication/cGSSAPIAuthentication no' /etc/ssh/sshd_config
给文件行添加注释:
# sed -r '2,6s/^/#/' a.txt
# sed -r '2,6s/(.*)/#\1/' a.txt
# sed -r '2,6s/.*/#&/' a.txt # &匹配前面查找的内容
# sed -r '3,$ s/^#*/#/' a.txt # 将行首零个或多个#换成一个#
# sed -r '30,50s/^[ \t]*#*/#/' /etc/nginx.conf
# sed -r '2,8s/^[ \t#]*/#/' /etc/nginx.conf
八、sed使用外部变量
# var1=11111
# sed -ri '3a$var1' /etc/hosts
# sed -ri "3a$var1" /etc/hosts
# sed -ri 3a$var1 /etc/hosts
# sed -ri "$a$var1" /etc/hosts
# sed -ri '$a'"$var1" /etc/hosts
# sed -ri "\$a$var1" /etc/hosts
扩展思考
[root@lichu ~]# vim 12345.txt
1
2
3
4
5
[root@lichu ~]# sed -r '1!G; $!h; $!d' 12345.txt
5
4
3
2
1