Linux三劍客 grep sed awk 詳細使用方法

?Linux中最重要的三個命令在業(yè)界被稱為“三劍客”,它們是awk,sed,grep非剃。

??? 我們現(xiàn)在知道Linux下一切皆文件推沸,對Linux的操作就是對文件的處理鬓催,那么怎么能更好的處理文件呢?這就要用到我們上面的三劍客命令倍靡。

??? 在說這三個命令前我們要插入一個小插曲就是“正則表達式”课舍。

一筝尾、正則表達式

??? 所謂的正則表達式我個人理解就是正規(guī)的表示方法。他是用簡單的方法來實現(xiàn)強大的功能栖忠,所以深受計算機愛好者的使用贸街。

??? 三劍客與正則表達式是什么關(guān)系呢?

??? 我們可以這樣理解捐川,三劍客就是普通的命令古沥,有的把他們叫做工具娇跟,在我看來都一樣。而正則表達式就好比一個模版盹沈。三劍客能讀懂這個模版吃谣。就這么簡單。注意只有三劍客才能讀懂這個模版哦肃晚!

??? 現(xiàn)在他們的關(guān)系和功能都搞懂了关串,接下來我們就來認識下他們怎么結(jié)合的。正則表達式是一個模版,這個模版是由一些普通字符和一些元字符組成飞蚓。普通字符包括大小寫的字母和數(shù)字廊蜒,而元字符則具有特殊的含義。具體如下

元字符??????????????? ? ? ? ? 功能???????????????????????????????????????????????????????? 意思

^???????????????????????????????? 匹配行首????????????????????????????????????????????????? 表示以某個字符開頭

$???????????????????????????????? 匹配行尾????????????????????????????????????????????????? 表示以某個字符結(jié)尾

^$?????????????????????????????? 空行的意思????????????????????????????????????????????? 表示空行的意思

?.???????????????????????????????? 匹配任意單個字符?????????????????????????????????? 表示任意一個字符

*???????????????????????????????? 字符*?? 匹配0或多個此字符???????????????????? 表示重復的任意多個字

\????????????????????????????????? 屏蔽一個元字符的特殊含義?????????????????? 表示去掉有意義的元字符的含義

[]???????????????????????????????? 匹配中括號內(nèi)的字符????????????????????????????? 表示過濾括號內(nèi)的字符

.*??????????????????????????????? 代表任意多個字符?????????????????????????????????? 就是代表任意多個字符

lele\{n\}?????????????????????? 用來匹配前面lele出現(xiàn)次數(shù)。n為次數(shù)?????? 就是統(tǒng)計前面lele出現(xiàn)的次數(shù)

lele\{n,\}????????????????????? 含義同上屁倔,但次數(shù)最少為n?????????????????

lele\{n,m\}?????????????????? lele出現(xiàn)次數(shù)在n與m之間

三劍客的功能非常強大锐借,但我們只需要掌握他們分別擅長的領(lǐng)域即可:grep擅長查找功能,sed擅長取行和替換严卖。awk擅長取列哮笆。

二汰扭、grep

1.作用

Linux系統(tǒng)中g(shù)rep命令是一種強大的文本搜索工具,它能使用正則表達式搜索文本启具,并把匹 配的行打印出來珊泳。grep全稱是Global Regular Expression Print,表示全局正則表達式版本撞芍,它的使用權(quán)限是所有用戶跨扮。

2.格式

grep [options]

3.主要參數(shù)

[options]主要參數(shù):

--color=auto 對匹配到的文本著色顯示

-v 顯示不被pattern匹配到的行

-i 忽略字符大小寫

-n 顯示匹配的行號

-c 統(tǒng)計匹配的行數(shù)

-o 僅顯示匹配到的字符串

-q 靜默模式衡创,不輸出任何信息

-A # after, 后#行

-B # before, 前#行

-C # context, 前后各#行

-e 實現(xiàn)多個選項間的邏輯or關(guān)系

grep –e ‘cat ’ -e ‘dog’ file

-w 匹配整個單詞

-E 使用ERE,相當于egrep

-F 相當于fgrep,不支持正則表達式

測試:

grep ? ? 匹配條件?? 處理文件

grep root passwd ##貪婪匹配

grep ^root passwd ##以root開頭

grep bash$ passwd ##以bash結(jié)尾

grep -i root passwd ##忽略大小寫

grep -E "root|ROOT" passwd ##后面條件可以是一個正則表達式

cat -b passwd | grep mail ##默認顯示mail所在行

cat -b passwd | grep mail -2 ##查看mail及上下兩行

cat -b passwd | grep mail -A2 ##查看mail及下兩行

cat -b passwd | grep mail -B2 ##查看mail及上兩行

'ws'

'w...s'

'w.....'

'.....s'

三、sed

sed是一種流編輯器巢寡,它一次處理一行內(nèi)容椰苟。處理時舆蝴,把當前處理的行存儲在臨時緩沖區(qū)中,稱為“模式空間”(pattern space)挨稿,接著用sed命令處理緩沖區(qū)中的內(nèi)容京痢,處理完成后,把緩沖區(qū)的內(nèi)容送往屏幕臭家。然后讀入下行钉赁,執(zhí)行下一個循環(huán)携茂。如果沒有使諸如‘D’ 的特殊命令,那會在兩個循環(huán)之間清空模式空間带膜,但不會清空保留空間。這樣不斷重復式廷,直到文件末尾滑废。文件內(nèi)容并沒有改變袜爪,除非你使用重定向存儲輸出。

1.sed命令格式

sed [option]...'script'inputfile

(1)選項

-n 不輸出模式空間內(nèi)容到屏幕俺陋,即不自動打印

-e 多點編輯

-f /PATH/SCRIPT_FILE: 從指定文件中讀取編輯腳本

-r 支持使用擴展正則表達式

-i 直接編輯文件

-i.bak 備份文件并原處編輯

(2)script 地址定界

不給地址:對全文進行處理

單地址:

#: 指定的行,$:最后一行

/pattern/:被此處模式所能夠匹配到的每一行

地址范圍:

#,#

#,+#

/pat1/,/pat2/

`#,/pat1/

~:步進

1~2 奇數(shù)行

2~2 偶數(shù)行

(3)編輯命令:

d 刪除模式空間匹配的行术浪,并立即啟用下一輪循環(huán)

p 打印當前模式空間內(nèi)容胰苏,追加到默認輸出之后

a [\]text1 在指定行后面追加文本,支持使用\n實現(xiàn)多行追加

i [\]text 在行前面插入文本

c [\]text 替換行為單行或多行文本

w /path/somefile 保存模式匹配的行至指定文件

r /path/somefile 讀取指定文件的文本至模式空間中匹配到的行后

= 為模式空間中的行打印行號

! 模式空間中匹配行取反處理

s///:查找替換,支持使用其它分隔符,s@@@法焰,s###

替換標記:

g 行內(nèi)全局替換

p 顯示替換成功的行

w /PATH/TO/SOMEFILE 將替換成功的行保存至文件中

(1)p模式操作

catfstab -n | sed5p##編輯第五行埃仪,并在屏幕中顯示

catfstab -n | sed -n4p ##只顯示第五行

catfstab -n | sed -n3,6p##顯示3-5行內(nèi)容

catfstab -n | sed -n '3p;6p' ##顯示第三行和第五行

sed-n'/#/p'fstab##顯示#所在行

sed -n'/#/!p'fstab##顯示不帶#的行

sed -n'/\:/p'fstab##顯示含:的行

sed -n'^UUID/p'fstab##顯示以UUID開頭的行

sed -n'/^$/!p'fstab##不顯示空白行

sed -n'/^$/!p'fstab | sed -n'/^#/!p'##不顯示空白行和#所在行

(2)d模式操作

sed'/^UUID/d'fstab##刪除UUID所在行

sed'/^UUID/!d'fstab##出UUID行,其他都刪除

sed'/^#/d'fstab##刪除所有含#的行

sed'/^$/d'fstab##刪除空格行

cat -n fstab | sed'5d'##刪除第五行

cat -n fstab | sed'2d;5d'##刪除第二行和第五行

cat -n fstab | sed'2,5d'##刪除2-5行

(3)a模式操作

sed'/^UUID/ahello'fstab##在UUID下一行添加

sed'/^UUID/ahello\nvan'fstab##在UUID下一行添加兩行

sed'4ahello\nvan'fstab##在第四行的下一行添加

sed'4ihello\nvan'fstab##在第四行插入

(4)c模式操作

sed'/#/chello'fstab##將所有含#的行改為hello

sed'/^#/cwestos'-i fstab##將所有含#的行給為westo并保存修改

練習:編寫一個腳本,用來改寫apache配置文件中的端口號

(5)w模式操作

sed'/^UUID/w file'fstab##將UUID所在行,導入file文件泛释,該文件可以不存在

(6).sed的其他用法

6.1統(tǒng)計文件行數(shù)

sed -n '/^UUID/=' fstab????? ##統(tǒng)計文件的行數(shù)

sed '/^UUID/=' fstab???????? ##將行數(shù)放到UUID所處位置

sed -n '$=' fstab??????????? ##統(tǒng)計行數(shù)

wc -l fstab | cut -d " " -f 1

6.2插入內(nèi)容

sed '6r /opt/insert' fstab?? ? ? ? ? ? ? ?? ? ? ##將/mnt/file文件的內(nèi)容放到fstab文件的第六行后

sed '$r /opt/insert' fstab?? ? ? ? ? ? ? ? ?? ? ##將/mnt/file文件的內(nèi)容放到fstab文件的最后

sed '$r /opt/insert' fstab -i fstab? ? ?? ?? ##保存對該文件的修改胁澳,該文件必須存在韭畸,不存在則不能使用該命令

sed '$r/opt/insert' fstab > test?? ??? ?? ?? ##?? ?保存修改到test文件中

6.3處理規(guī)則設定

sed -f rule fstab 根據(jù)文件中的規(guī)則對文件進行處理

vim rule

/^UUID/p

/UUID/=

6.4替換文件內(nèi)容

sed 's/sbin/#########/g' passwd?? ??? ?##將文件所有sbin替換成########

sed '1,5s/sbin/#########/g' passwd?? ?##將文件前五行中的sbin替換成########

sed '/adm/,/halt/s/sbin/********/g' passwd?? ?##將adm到halt行中的sbin替換成*******

sed 's/\///g' passwd?? ??? ??? ?##將passwd文件中的所有/刪除

6.5 @與/等同

sed 's@/@#####@g' passwd?? ??? ?##將passwd文件中的所有/替換成#####胰丁,其中@也是/

sed 's@sbin@####@g;s/nologin/*******/g' passwd

sed -e 's@sbin@####@g' -e 's/nologin/!!!!!/g' passwd

?6.6其他命令

sed'G'fstab##在每一行后面添加一個空白行

sed'$!G'fstab

sed'='fstab##在每一行前添加行號

sed'='fstab | sed'N;s/\n//'##進行預處理

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末机蔗,一起剝皮案震驚了整個濱河市甘萧,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌牙言,老刑警劉巖怪得,帶你破解...
    沈念sama閱讀 222,104評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件徒恋,死亡現(xiàn)場離奇詭異,居然都是意外死亡亿乳,警方通過查閱死者的電腦和手機径筏,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,816評論 3 399
  • 文/潘曉璐 我一進店門匠璧,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人夷恍,你說我怎么就攤上這事《舯” “怎么了?”我有些...
    開封第一講書人閱讀 168,697評論 0 360
  • 文/不壞的土叔 我叫張陵州丹,是天一觀的道長墓毒。 經(jīng)常有香客問我亲怠,道長,這世上最難降的妖魔是什么主胧? 我笑而不...
    開封第一講書人閱讀 59,836評論 1 298
  • 正文 為了忘掉前任习勤,我火速辦了婚禮图毕,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘吴旋。我一直安慰自己荣瑟,他們只是感情好摩泪,可當我...
    茶點故事閱讀 68,851評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著嚷掠,像睡著了一般荞驴。 火紅的嫁衣襯著肌膚如雪熊楼。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,441評論 1 310
  • 那天犬耻,我揣著相機與錄音,去河邊找鬼渡蜻。 笑死计济,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的税弃。 我是一名探鬼主播凑队,決...
    沈念sama閱讀 40,992評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼漩氨,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了款青?” 一聲冷哼從身側(cè)響起霍狰,我...
    開封第一講書人閱讀 39,899評論 0 276
  • 序言:老撾萬榮一對情侶失蹤蔗坯,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后宾濒,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體绘梦,經(jīng)...
    沈念sama閱讀 46,457評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,529評論 3 341
  • 正文 我和宋清朗相戀三年钝诚,在試婚紗的時候發(fā)現(xiàn)自己被綠了榄棵。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,664評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡泽铛,死狀恐怖辑鲤,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情弛随,我是刑警寧澤宁赤,帶...
    沈念sama閱讀 36,346評論 5 350
  • 正文 年R本政府宣布决左,位于F島的核電站,受9級特大地震影響佛猛,放射性物質(zhì)發(fā)生泄漏继找。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,025評論 3 334
  • 文/蒙蒙 一幻锁、第九天 我趴在偏房一處隱蔽的房頂上張望边臼。 院中可真熱鬧,春花似錦究飞、人聲如沸堂鲤。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,511評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽酬滤。三九已至寓涨,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間戒良,已是汗流浹背体捏。 一陣腳步聲響...
    開封第一講書人閱讀 33,611評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留糯崎,地道東北人几缭。 一個月前我還...
    沈念sama閱讀 49,081評論 3 377
  • 正文 我出身青樓,卻偏偏與公主長得像沃呢,于是被迫代替她去往敵國和親年栓。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,675評論 2 359

推薦閱讀更多精彩內(nèi)容