一椒舵、sed工作流程
sed 是一種在線的、非交互式的編輯器约谈,它一次處理一行內(nèi)容笔宿。
處理時(shí),先把當(dāng)前處理的行內(nèi)容存儲(chǔ)在臨時(shí)緩沖區(qū)中棱诱,稱為“模式空間”(pattern space)措伐,
之后再用sed命令處理緩沖區(qū)中的內(nèi)容,處理完成后军俊,把緩沖區(qū)的內(nèi)容打印到屏幕。
接著處理下一行捧存,這樣不斷重復(fù)粪躬,直到文件末尾。
注意:模式空間的內(nèi)容和 AWK 中的 $0 是一樣的昔穴,處理每行的時(shí)候镰官,都會(huì)被重新賦值為當(dāng)前行的內(nèi)容
文件內(nèi)容并沒(méi)有改變,除非你使用重定向存儲(chǔ)輸出吗货。
Sed主要用來(lái)自動(dòng)編輯一個(gè)或多個(gè)文件泳唠;簡(jiǎn)化對(duì)文件的反復(fù)操作;編寫轉(zhuǎn)換程序等宙搬。
二笨腥、命令格式
先準(zhǔn)備一個(gè)文件
[root@biudefor ~]# head /etc/passwd |grep -n '' > mypasswd
[root@biudefor ~]# cat mypasswd
1:root:x:0:0:root:/root:/bin/bash
2:bin:x:1:1:bin:/bin:/sbin/nologin
3:daemon:x:2:2:daemon:/sbin:/sbin/nologin
4:adm:x:3:4:adm:/var/adm:/sbin/nologin
5:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6:sync:x:5:0:sync:/sbin:/bin/sync
7:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8:halt:x:7:0:halt:/sbin:/sbin/halt
9:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10:operator:x:11:0:operator:/root:/sbin/nologin
處理單個(gè)文件的命令格式
[root@biudefor ~]# sed [options] '[匹配模式] sed 的內(nèi)部命令' file1
處理多個(gè)文件的命令格式
sed [options] '[匹配模式] [sed 的內(nèi)部命令]' file1 file2
options 選項(xiàng)是可選的,意思就是沒(méi)有也行
匹配模式 是可選的用于在文件中每一行進(jìn)行匹配到模式勇垛,模式可以是正則脖母,也可以是文件的行號(hào)
內(nèi)部的命令也是可選的,沒(méi)想到吧闲孤,但是兩個(gè)單引號(hào)是必須的
[root@biudefor ~]# sed ' ' mypasswd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
注:
sed和grep不一樣谆级,不管是否找到指定的模式,它的退出狀態(tài)都是0
只有當(dāng)命令存在語(yǔ)法錯(cuò)誤時(shí),sed的退出狀態(tài)才是非0
三肥照、支持正則表達(dá)式
與grep一樣脚仔,sed在文件中查找模式時(shí)也可以使用正則表達(dá)式(RE)和各種元字符。正則表達(dá)式是
括在斜杠間的模式舆绎,用于查找和替換鲤脏,以下是sed支持的元字符。
使用基本元字符集^, $, ., *, [], [^], \< \>,\(\),\{\}
使用擴(kuò)展元字符集?, +, { }, |, ( )
使用擴(kuò)展元字符的方式:
[root@biudefor ~]# sed -r
在實(shí)際使用的時(shí)候亿蒸,都會(huì)加上 -r 參數(shù)凑兰,即使沒(méi)有用的擴(kuò)展正則也不會(huì)有任何影響。
四边锁、sed基本用法
打印
sed 默認(rèn)會(huì)輸出文件的每一行姑食,無(wú)論這行內(nèi)容是否能匹配上匹配模式,假如被匹配到的則會(huì)再輸出一次茅坛。
[root@biudefor ~]# sed -r '' mypasswd
[root@biudefor ~]# sed -r 'p' mypasswd
p
是 sed 的內(nèi)部命令音半,是 打印(輸出) 的作用
屏蔽默認(rèn)輸出使用 -n 選項(xiàng)
[root@biudefor ~]# sed -rn 'p' mypasswd
[root@biudefor ~]# sed -rn '/root/p' mypasswd 顯示root的行 ^ 匹配root 開頭 ^root
搜索替換 -- 這是重點(diǎn) 實(shí)際中用的最多
sed會(huì)自動(dòng)打印文件的每一行贡蓖,同時(shí)查找模式匹配的行曹鸠,找到后執(zhí)行后面的命令,默認(rèn)是 p 打映馄獭(不加 -n 的情況下)
> 搜索每一行彻桃,找到有 root 的,把第一個(gè)替換為 tom
[root@biudefor ~]# sed -r 's/root/tom/' mypasswd
> 搜索每一行晾蜘,找到所有的 root 字符邻眷,進(jìn)行全局替換為 `tom`
[root@biudefor ~]# sed -r 's/root/tom/g' mypasswd
> i 是同時(shí)忽略大小寫
[root@biudefor ~]# sed -r 's/root/tom/gi' mypasswd
> 找到含有 root 的進(jìn)行刪除
[root@biudefor ~]# sed -r '/root/d' mypasswd
> 可以使用不同的 字符 作為界定符號(hào),注意進(jìn)行轉(zhuǎn)義
[root@biudefor ~]# sed -r '\#root#d' mypasswd
注意:
當(dāng)在模式匹配中使用其他界定符號(hào)時(shí)剔交,需要對(duì)其進(jìn)行轉(zhuǎn)義肆饶。
其他界定符用在 s 搜索替換時(shí)不必轉(zhuǎn)義。例如:
[root@biudefor ~]# sed -r 's#root#tom#' mypasswd
[root@biudefor ~]# sed -r 's%root%tom%' mypasswd
[root@biudefor ~]# sed -r 's|root|shark|' mypasswd
五岖常、sed擴(kuò)展
地址(定址)
地址用于決定對(duì)哪些 行 進(jìn)行編輯驯镊。地址形式可以是數(shù)字、正則表達(dá)式或二者的結(jié)合竭鞍。如果沒(méi)有指定地址板惑,sed將處理輸入文件中的所有行。
> 全部分刪除
[root@biudefor ~]# sed -r 'd' mypasswd
> 第 3 行刪除
[root@biudefor ~]# sed -r '3 d' mypasswd
> 第 1 行到第 3 行都刪除
[root@biudefor ~]# sed -r '1,3 d' mypasswd
> 含有 root 字符串的行刪除
[root@biudefor ~]# sed -r '/root/ d' mypasswd
> 從含有 root 字符串的行開始刪除偎快,總共刪除 5 行洒放,5 行中包含了 被匹配成功的行
[root@biudefor ~]# sed -r '/root/,5 d' mypasswd
> 從含有 halt 的行開始刪除,并刪除此行之后的 2 行滨砍,就是總共刪除 3 行
[root@biudefor ~]# sed -r '/halt/,+2 d' mypasswd
> 含有 root 的行不刪除往湿,其他都刪除
[root@biudefor ~]# sed -r '/root/ !d' mypasswd
> 使用行號(hào)除以 2 妖异,余數(shù)是 1 的行刪除
[root@biudefor ~]# sed -r '1~2 d' mypasswd
> 使用行號(hào)除以 2, 余數(shù) 是 0 的 打印出來(lái)
[root@biudefor ~]# sed -rn '0~2 p' mypasswd
> 試試下面這個(gè)领追, 就是 每次處理的行號(hào)是被除數(shù)他膳,第二個(gè)數(shù)是除數(shù),第一數(shù)是 余數(shù)
[root@biudefor ~]# sed -rn '0~3 p' mypasswd
六绒窑、sed命令
sed命令告訴 sed 對(duì)匹配到的行進(jìn)行何種操作棕孙,包括打印、刪除些膨、修改等蟀俊。
命令功能詳解
p 打印行
d 刪除行
a 在當(dāng)前行后添加一行或多行
c 用新文本修改(替換)當(dāng)前行中的文本
i 在當(dāng)前行之前插入文本
l 列出非打印字符
n 讀入下一輸入行,并從下一條命令而不是第一條命令開始對(duì)其的處理
! 對(duì)所選行以外的所有行應(yīng)用命令
g 全局替換
r 從文件中讀
w 將行寫入文件
------------------------以下為擴(kuò)展-----------------------
h 清除保持空間的內(nèi)容后订雾,把模式空間里的內(nèi)容復(fù)制到保持空間
H 把模式空間里的內(nèi)容追加到保持空間
g 清除模式空間的內(nèi)容后肢预, 取出保持空間的內(nèi)容,并復(fù)制到模式空間
G 取出保持空間的內(nèi)容洼哎,追加在模式空間原有內(nèi)容的后面
x 交換模式空間與保持空間的內(nèi)容
sed 部分命令示例 :
替換命令:s
[root@biudefor ~]# sed -rn 's/[0-9][0-9]/&.5/' mypasswd
//&代表在查找串中匹配到的所有內(nèi)容
[root@biudefor ~]# sed -r 's/(no)login/\1不可登錄/' mypasswd
部分輸出為
bin:x:1:1:bin:/bin:/sbin/no不可登錄
讀文件命令:r
在 mypasswd 文件的第二行下面烫映,插入 從 /etc/hosts 文件中讀取到的內(nèi)容
[root@biudefor ~]# sed -r '2r /etc/hosts' mypasswd
在 mypasswd 文件中含有字符 2 下面,插入 從 /etc/hosts 文件中讀取到的內(nèi)容
[root@biudefor ~]# sed -r '/2/r /etc/hosts' mypasswd
寫文件命令:w
把 mypasswd 文件中含有 字符 root 的行寫入到文件 newfile, newfile 文件不存在則創(chuàng)建噩峦,存在則覆蓋
[root@biudefor ~]# sed -r '/root/w newfile' mypasswd
把 mypasswd 文件中的第 3 行到最后的內(nèi)容寫入到文件 /new1.txt 中
[root@biudefor ~]# sed -r '3,$w /new1.txt' mypasswd
追加命令:a
[root@biudefor ~]# sed -r '$a 1.1.1.1 www.qfedu.com' /etc/hosts
插入命令:i
[root@biudefor ~]# sed -r '2i\1111111111111' /etc/hosts
[root@biudefor ~]# sed -r '2i111111111\
> 2222222222\
> 3333333333' /etc/hosts
修改命令:c
[root@biudefor ~]# sed -r '2c\1111111111111' /etc/hosts
[root@biudefor ~]# sed -r '2c\111111111111\
> 22222222222\
> 33333333333' /etc/hosts
獲取下一行命令:n
[root@biudefor ~]# sed -r '/eastern/{ n; d }' datafile
[root@biudefor ~]# sed -r '/eastern/{ n; s/AM/Archile/ }' datafile
暫存和取用命令:h H g G
[root@biudefor ~]# sed -r '1h;$G' /etc/hosts
[root@biudefor ~]# sed -r '1{h;d};$G' /etc/hosts
[root@biudefor ~]# sed -r '1h; 2,$g' /etc/hosts
[root@biudefor ~]# sed -r '1h; 2,3H; $G' /etc/hosts
暫存空間和模式空間互換命令:x
[root@biudefor ~]# sed -r '4h; 5x; 6G' /etc/hosts
反向選擇: !
[root@biudefor ~]# sed -r '3d' /etc/hosts
[root@biudefor ~]# sed -r '3!d' /etc/hosts
七锭沟、關(guān)于選項(xiàng)
選項(xiàng) 功能
-e 允許多項(xiàng)編輯
-f 指定sed腳本文件名
-n 取消默認(rèn)的輸出
-i inplace,就地編輯
-r 支持?jǐn)U展元字符
多重編輯選項(xiàng):-e
[root@biudefor ~]# sed -e '1,3 d' -e 's/root/shark/' mypasswd
4:adm:x:3:4:adm:/var/adm:/sbin/nologin
5:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6:sync:x:5:0:sync:/sbin:/bin/sync
7:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8:halt:x:7:0:halt:/sbin:/sbin/halt
9:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10:operator:x:11:0:operator:/shark:/sbin/nologin
[root@biudefor ~]#
sed -e '1,3 d' -e 's/root/duan/' mypasswd
等同于
sed '1,3 d; s/root/duan/' mypasswd
八识补、sed常見(jiàn)操作
刪除配置文件中 # 號(hào)注釋的行
[root@biudefor ~]# sed -ri '/^#/d' file.conf
刪除開頭的一個(gè)或者多個(gè) 空格或者 Tab 鍵
[root@biudefor ~]# sed -ri '/^[ \t]*#/d' file.conf
YUM 源修改
[root@biudefor ~]# sed -ri s/^#baseurl/baseurl/g /etc/yum.repos.d/CentOS-Base.repo
[root@biudefor ~]# sed -ri s/^mirrorlist/#mirrorlist/g /etc/yum.repos.d/CentOSBase.repo
空格和table鍵 '/^#/d' [ \t] * 空格和table
刪除配置文件中//號(hào)注釋行
[root@biudefor ~]# sed -ri '\Y^[ \t]*//Yd' file.conf
刪除無(wú)內(nèi)容空行
- 開頭和結(jié)尾之間什么都沒(méi)有的行
- 開頭和結(jié)尾之間有多個(gè)空格的行
- 開頭和結(jié)尾之間有多個(gè) Tab 鍵的行
[root@biudefor ~]# sed -ri '/^[ \t]*$/d' file.conf
刪除注釋行及空行:
以下 3 中效果一樣族淮,挑一個(gè)自己喜歡的
[root@biudefor ~]# sed -ri '/^[ \t]*#/d; /^[ \t]*$/d' /etc/vsftpd/vsftpd.conf
[root@biudefor ~]# sed -ri '/^[ \t]*#|^[ \t]*$/d' /etc/vsftpd/vsftpd.conf
[root@biudefor ~]# sed -ri '/^[ \t]*($|#)/d' /etc/vsftpd/vsftpd.conf
修改文件:
[root@biudefor ~]# sed -ri '$a\chroot_local_user=YES' /etc/vsftpd/vsftpd.conf
[root@biudefor ~]# sed -ri '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config
[root@biudefor ~]# sed -ri '/UseDNS/cUseDNS no' /etc/ssh/sshd_config
[root@biudefor ~]# sed -ri '/GSSAPIAuthentication/cGSSAPIAuthentication no' /etc/ssh/sshd_config
給文件行添加注釋:
[root@biudefor ~]# sed -r '2,6s/^/#/' a.txt
使用小括號(hào)進(jìn)行分組,可以有多個(gè)分組凭涂, 后面可以使用 \1 獲取到第一個(gè)分組的內(nèi)容
[root@biudefor ~]# sed -r '2,6s/(.*)/#\1/' a.txt
[root@biudefor ~]# sed -r '2,6s/.*/#&/' a.txt &匹配前面查找的內(nèi)容
[root@biudefor ~]# sed -r '3,$ s/^#*/#/' a.txt 將行首零個(gè)或多個(gè)#換成一個(gè)#
[root@biudefor ~]# sed -r '30,50s/^[ \t]*#*/#/' /etc/nginx.conf
[root@biudefor ~]# sed -r '2,8s/^[ \t#]*/#/' /etc/nginx.conf
sed中使用外部變量
[root@biudefor ~]# var1=11111
# 無(wú)效
[root@biudefor ~]# sed -r '3a$var1' /etc/hosts
# 正確
[root@biudefor ~]# sed -r "3a$var1" /etc/hosts
# 有效
[root@biudefor ~]# sed -r 3a$var1 /etc/hosts
# 報(bào)錯(cuò)
[root@biudefor ~]# sed -r "$a$var1" /etc/hosts
# 有效瞧筛,但是中間不能有空格
[root@biudefor ~]# sed -r '$a'"$var1" /etc/hosts
# 有效, 將第一個(gè) $ 進(jìn)行轉(zhuǎn)義
[root@biudefor ~]# sed -r "\$a $var1" /etc/hosts