sed 一種流向編輯器 stream editor,是Linux中三大文件處理工具(awk, sed, grep)之一炊苫,能配合正則表達(dá)式,對(duì)文件處理發(fā)揮重要作用搪搏。
sed 流式處理過程分成讀取洪碳,執(zhí)行递览,展示三個(gè)階段;
????1. sed讀取是從輸入流(文件瞳腌,管道绞铃,標(biāo)準(zhǔn)輸入)讀取一行并存儲(chǔ)到它叫模式空間pattern buffer中。
? ? 2. sed執(zhí)行嫂侍,默認(rèn)情況下儿捧,所有的SED命令都在模式空間中順序的執(zhí)行,除非指定了行的地址,否則SED命令將會(huì)在所有的行上依次執(zhí)行。
? ? 3. sed?發(fā)送修改后的內(nèi)容到輸出流搁宾。在發(fā)送數(shù)據(jù)之后发笔,模式空間將會(huì)被清空。在文件所有的內(nèi)容都被處理完成之前钾腺,上述過程將會(huì)重復(fù)執(zhí)行。
sed 以行為單位進(jìn)行文本處理,可以對(duì)數(shù)據(jù)進(jìn)行刪除临谱,替換,新增奴璃,選取等吴裤,配合正則,功力大增溺健,有沒有想一試身手呢麦牺,接下來我們就好好來盤一盤sed。
一.執(zhí)行流程示例
打印內(nèi)容
sed '' test? 文件讀取到模式空間后鞭缭,沒有任何腳本來處理剖膳,直接將模式空間內(nèi)容直接輸出到屏幕
接收輸入
sed ''? ?接收標(biāo)準(zhǔn)輸入的內(nèi)容,并進(jìn)行腳本處理岭辣,這里的腳本是空吱晒,所以不處理,直接輸出到屏幕
二.sed 的兩種執(zhí)行方式
sed [-n] [-e] 'command(s)' files??
sed [-n] -f scriptfile files
第一種方式是在命令行中使用沦童,第二種方式是在SED腳本文件中使用仑濒;兩種執(zhí)行方式可以同時(shí)使用。
文件:
$ cat test
aaa
ddd
222
sss
12ds45
方式一:
sed??-e '1d' -e '2d' -e '3d' test
sss
12ds45
方式二:
echo -e "1d\n2d\n3d" > commands.txt
sed -f commands.txt test
sss
12ds45
三.sed 命令行參數(shù)
-n 默認(rèn)情況下偷遗,模式空間中的內(nèi)容在處理完成后將會(huì)打印到標(biāo)準(zhǔn)輸出墩瞳,該選項(xiàng)用于阻止該行為
-e 指定要執(zhí)行的命令,使用該參數(shù)氏豌,我們可以指定多個(gè)命令喉酌,讓我們打印每一行兩次:
sed -e '' -e 'p' quote.txt
-n, --quiet, --slient:與標(biāo)準(zhǔn)的-n選項(xiàng)相同
-e script,--expression=script:與標(biāo)準(zhǔn)的-e選項(xiàng)相同
-f script-file泪电, --file=script-file:與標(biāo)準(zhǔn)的-f選項(xiàng)相同
--follow-symlinks:如果提供該選項(xiàng)的話般妙,在編輯的文件是符號(hào)鏈接時(shí),SED將會(huì)跟隨鏈接
-i[SUFFIX]相速,--in-place[=SUFFIX]:該選項(xiàng)用于對(duì)當(dāng)前文件進(jìn)行編輯碟渺,如果提供了SUFFIX的話,將會(huì)備份原始文件突诬,否則將會(huì)覆蓋原始文件
-l N止状, --line-lenght=N:該選項(xiàng)用于設(shè)置行的長(zhǎng)度為N個(gè)字符
--posix:該選項(xiàng)禁用所有的GNU擴(kuò)展
-r,--regexp-extended:該選項(xiàng)將啟用擴(kuò)展的正則表達(dá)式
-u攒霹, --unbuffered:指定該選項(xiàng)的時(shí)候怯疤,SED將會(huì)從輸入文件中加載最少的數(shù)據(jù),并且更加頻繁的刷出到輸出緩沖區(qū)催束。在編輯tail -f命令的輸出集峦,你不希望等待輸出的時(shí)候該選項(xiàng)是非常有用的。
-z抠刺,--null-data:默認(rèn)情況下塔淤,SED對(duì)每一行使用換行符分割,如果提供了該選項(xiàng)的話速妖,它將使用NULL字符分割行
四. sed 基本命令
本章將會(huì)講解一些常用的SED命令高蜂,主要包括DELETE,WRITE罕容,APPEND备恤,CHANGE,INSERT锦秒,TRANSLATE露泊,QUIT,READ旅择,EXECUTE等命令
1.刪除 d
格式:?[address1[,address2]]d
$: sed 'd' test.txt 刪除模式空間中的每一行惭笑,源文件不變
$: sed '4d' test.txt 刪除第四行
$: sed '4,9d' test.txt 刪除第四行到第九行
$: sed '/Time/,/Good/d' 刪除以Time 和Good開頭的行
2.替換 s
格式:[address1[,address2]]s/pattern/replacement/[flags]
sed 's/,/ | /g'?test.txt? ? g:表示對(duì)所有內(nèi)容進(jìn)行替換
sed 's/,/|/ 2 ' test.txt?? ? 2: 表示只替換每行中第二個(gè)逗號(hào)
sed -n 's/genome/gene/p' test.txt?? p: 只輸出改變的行
sed -n 's/genome/gene/w junk.txt' test.txt?? w: 替換后輸出的內(nèi)容儲(chǔ)存到新的文件
sed -n 's/genome/gene/pi' test.txt? ? ? ? ? ? ?i: 匹配大小寫
3.寫入 w
格式:[address1[,address2]]w file
w 指定是寫命令, file 指的是存儲(chǔ)文件內(nèi)容的文件名生真。使用 file 操作符的時(shí)候要小心沉噩,當(dāng)提供了文件名但是文件不存在的時(shí)候它會(huì)自動(dòng)創(chuàng)建,如果已經(jīng)存在的話則會(huì)覆蓋原文件的內(nèi)容柱蟀。
$: sed -n 'w books.bak' books.txt? 創(chuàng)建 books.txt的副本
4.正則表達(dá)式
^ 行首
$ 行尾
. 行單個(gè)字符(除行尾外)
[]?匹配字符集
[^]??排除字符集
[-]??字符范圍
??川蒙,\+?,*? ?分別對(duì)應(yīng)0次到1次产弹,一次到多次派歌,0次到多次匹配
{n}?,{n,}?痰哨,{m, n}??精確匹配N次胶果,至少匹配N次,匹配M-N次?
| 或
\s?匹配單個(gè)空白內(nèi)容
\S?匹配單個(gè)非空白內(nèi)容斤斧。
\w?早抠,?\W?單個(gè)單詞、非單詞撬讽。
5.常用代碼塊
a.除去空白行
$: echo -e "Line #1\n\n\nLine #2" | sed '/^$/d'
b.刪除連續(xù)空白行
$: echo -e "Line #1\n\n\nLine #2" | sed '/./,/^$/!d'
五. 參考文獻(xiàn)
https://www.gnu.org/software/sed/manual/sed.html#index-Copy-hold-space-into-pattern-space-168
https://github.com/mylxsw/growing-up/blob/master/doc/%E4%B8%89%E5%8D%81%E5%88%86%E9%92%9F%E5%AD%A6%E4%BC%9ASED.md