Sed and awk 筆記之 sed 篇：高級(jí)命令（二）

sed篇總共分成6章：(簡(jiǎn)書(shū)版)

上一篇中介紹了N/D/P三個(gè)命令燕侠，它們可以形成多行的模式空間穗慕，在一點(diǎn)程度上彌補(bǔ)了單行模式空間的不足俺榆，我們用sed編輯文本的能力又進(jìn)了一步。模式空間是sed內(nèi)部維護(hù)的一個(gè)緩存空間蝠猬，它存放著讀入的一行或者多行內(nèi)容。但是模式空間的一個(gè)限制是無(wú)法保存模式空間中被處理的行，因此sed又引入了另外一個(gè)緩存空間——模式空間（Hold Space）辆雾。

保持空間

保持空間用于保存模式空間的內(nèi)容万伤，模式空間的內(nèi)容可以復(fù)制到保持空間窒悔，同樣地保持空間的內(nèi)容可以復(fù)制回模式空間。sed提供了幾組命令用來(lái)完成復(fù)制的工作敌买，其它命令無(wú)法匹配也不能修改模式空間的內(nèi)容简珠。

操作保持空間的命令如下所示：

名稱命令說(shuō)明

保存（Hold)h/H將模式空間的內(nèi)容復(fù)制或者追加到保持空間

取回（Get）g/G將保持空間的內(nèi)容復(fù)制或者追加到模式空間

交換（Exchange）x交換模式空間和保持空間的內(nèi)容

這幾組命令提供了保存、取回以及交換三個(gè)動(dòng)作，交換命令比較容易理解聋庵，保存命令和取回命令都有大寫(xiě)和小寫(xiě)兩種形式膘融，這兩種形式的區(qū)別是小寫(xiě)的是將會(huì)覆蓋目的空間的內(nèi)容，而大寫(xiě)的是將內(nèi)容追加到目的空間祭玉，追加的內(nèi)容和原有的內(nèi)容是以\n分隔氧映。

基本使用

我們隨便試試這幾個(gè)命令，假設(shè)有如下測(cè)試文本:

$ cat text121122111222

1. 首先脱货，僅使用h/H或者g/G命令：

使用h命令：

$ sed'h'text121122111222

使用G命令：

$ sed'G'text121122111222

前者返回的結(jié)果正常岛都，因?yàn)閺?fù)制到保持空間的內(nèi)容并沒(méi)有取回；后者每一行的后面都多了一個(gè)空行振峻，原因是每行都會(huì)從保持空間取回一行疗绣，追加（大寫(xiě)的G）到模式空間的內(nèi)容之后，以\n分隔铺韧。

2. 使用x命令交換空間

$ sed'x'text121122111

命令執(zhí)行后多矮，發(fā)現(xiàn)前面多了一個(gè)空行并且最后一行不見(jiàn)了。我在前面一直強(qiáng)調(diào)sed命令用好哈打，要有用大腦回顧命令執(zhí)行過(guò)程的能力：

* 當(dāng)讀入第一行的時(shí)候塔逃，模式空間中的內(nèi)容是第一行的內(nèi)容，而保持空間是空的料仗，這個(gè)時(shí)候交換兩個(gè)空間湾盗，導(dǎo)致模式空間為空，保持空間為第一行的內(nèi)容立轧，因此輸出為空行格粪；

* 當(dāng)讀入下一行之后，模式空間為第2行的內(nèi)容氛改，保持空間為第一行的內(nèi)容帐萎，交換后輸出第1行的內(nèi)容；

* 依次讀入每一行胜卤，輸出上一行的內(nèi)容疆导；

* 直到最后一行被讀入到模式空間，交換后輸出倒數(shù)第二行的內(nèi)容葛躏，而最后一行的內(nèi)容并沒(méi)有輸出澈段，此時(shí)命令執(zhí)行結(jié)束。

深入使用

上面的例子簡(jiǎn)單地介紹了保持空間命令的基本使用方法舰攒，這些命令單個(gè)使用可能效果不大败富，但是組合起來(lái)的效果是非常好的。

1.第一個(gè)例子：使用逗號(hào)拼接行

$ sed'H;$!d;${x;s/^\n//;s/\n/,/g}'text1,11,2,11,22,111,222

上面的命令執(zhí)行過(guò)程是這樣的摩窃，使用H將每一行都追加到保持空間兽叮，這里利用d命令打斷常規(guī)的命令執(zhí)行流程，讓sed繼續(xù)讀入新的一行，直接到將最后一行都放到保持空間充择。這個(gè)時(shí)候使用x命令將保持空間的內(nèi)容交換到模式空間德玫，模式空間的內(nèi)容現(xiàn)在是這樣的：\n1\n11\n2\n11\n22\n111\n222匪蟀。替換的步驟分成兩個(gè)椎麦，首先去掉首個(gè)回車符，然后把剩余的回車符替換成逗號(hào)材彪。

其實(shí)上面的過(guò)程可以包裝成一個(gè)常用的函數(shù)：

$functionjoin_lines()>{>sed'H;$!d;${x;s/^\n//;s/\n/,/g}'$1>}$ join_lines text1,11,2,11,22,111,222

進(jìn)一步观挎，我們可以讓分隔符可以通過(guò)參數(shù)設(shè)置，另外一方面刪除文件名的參數(shù)段化，而改成常見(jiàn)的過(guò)濾器命令形式（即通過(guò)管道傳遞輸入）：

$functionjoin_lines()>{>localdelim=${1:-,}>sed'H;$!d;${x;s/^\n//;s/\n/'$delim'/g}'>}$ cat text|join_lines';'1;11;2;11;22;111;222

但是如果我們要用&作為符號(hào)嘁捷，就會(huì)出現(xiàn)問(wèn)題:

$ cat text|join_lines'&'11121122111222

上面并沒(méi)有&作為分隔符，這是因?yàn)?amp;是元字符显熏，表示匹配的部分雄嚣，這里剛好是回車符\n。因此我們需要對(duì)分隔符進(jìn)行轉(zhuǎn)義：

$functionjoin_lines()>{>localdelim=${1:-,}>sed'H;$!d;${x;s/^\n//;s/\n/\'$delim'/g}'

> }

$ cat text | join_lines '&'

1&11&2&11&22&111&222

2.第二個(gè)例子：將語(yǔ)句中的特定單詞轉(zhuǎn)換成大寫(xiě)

現(xiàn)在有這樣的文本喘蟆，有許多類似這樣的find the Match statement語(yǔ)句缓升，其中Match是語(yǔ)句的名稱，但是這個(gè)單詞的大小寫(xiě)不統(tǒng)一蕴轨，有些地方是小寫(xiě)的港谊，有些地方是首字符大寫(xiě)，現(xiàn)在我們要做的是把這個(gè)單詞統(tǒng)一轉(zhuǎn)換成大寫(xiě)橙弱。

容易聯(lián)想到的是Sed&awk筆記之sed篇：基礎(chǔ)命令中介紹的y命令歧寺，利用y命令確實(shí)可以做到小寫(xiě)轉(zhuǎn)換成大寫(xiě)，轉(zhuǎn)換的命令是這樣的：

y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/

但是y命令是會(huì)把模式空間的所有內(nèi)容都轉(zhuǎn)換棘脐，這樣不能滿足我們的需求斜筐。但是我們可以利用保持空間保存當(dāng)前行，然后處理模式空間中的內(nèi)容：

/the.*statement/{h

s/.*the $.*$ statement.*/\1/y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/G

s/$.*$\n$.*the $.*$ statement.*$/\2\1\3/}

老規(guī)矩一條一條過(guò)上面的命令蛀缝，為了方便說(shuō)明奴艾，每個(gè)命令解釋后我都會(huì)給出當(dāng)前模式空間和保持空間的內(nèi)容。

首先找到需要處理的行（假設(shè)當(dāng)前行為find the Match statement）内斯。

Pattern space: find the Match statement

將當(dāng)前行保存到保持空間：

Pattern space: find the Match statement