?Linux中最重要的三個命令在業(yè)界被稱為“三劍客”,它們是awk,sed,grep非剃。
??? 我們現(xiàn)在知道Linux下一切皆文件推沸,對Linux的操作就是對文件的處理鬓催,那么怎么能更好的處理文件呢?這就要用到我們上面的三劍客命令倍靡。
??? 在說這三個命令前我們要插入一個小插曲就是“正則表達式”课舍。
??? 所謂的正則表達式我個人理解就是正規(guī)的表示方法。他是用簡單的方法來實現(xiàn)強大的功能栖忠,所以深受計算機愛好者的使用贸街。
??? 三劍客與正則表達式是什么關(guān)系呢?
??? 我們可以這樣理解捐川,三劍客就是普通的命令古沥,有的把他們叫做工具娇跟,在我看來都一樣。而正則表達式就好比一個模版盹沈。三劍客能讀懂這個模版吃谣。就這么簡單。注意只有三劍客才能讀懂這個模版哦肃晚!
??? 現(xiàn)在他們的關(guān)系和功能都搞懂了关串,接下來我們就來認識下他們怎么結(jié)合的。正則表達式是一個模版,這個模版是由一些普通字符和一些元字符組成飞蚓。普通字符包括大小寫的字母和數(shù)字廊蜒,而元字符則具有特殊的含義。具體如下
元字符??????????????? ? ? ? ? 功能???????????????????????????????????????????????????????? 意思
^???????????????????????????????? 匹配行首????????????????????????????????????????????????? 表示以某個字符開頭
$???????????????????????????????? 匹配行尾????????????????????????????????????????????????? 表示以某個字符結(jié)尾
^$?????????????????????????????? 空行的意思????????????????????????????????????????????? 表示空行的意思
?.???????????????????????????????? 匹配任意單個字符?????????????????????????????????? 表示任意一個字符
*???????????????????????????????? 字符*?? 匹配0或多個此字符???????????????????? 表示重復的任意多個字
\????????????????????????????????? 屏蔽一個元字符的特殊含義?????????????????? 表示去掉有意義的元字符的含義
[]???????????????????????????????? 匹配中括號內(nèi)的字符????????????????????????????? 表示過濾括號內(nèi)的字符
.*??????????????????????????????? 代表任意多個字符?????????????????????????????????? 就是代表任意多個字符
lele\{n\}?????????????????????? 用來匹配前面lele出現(xiàn)次數(shù)。n為次數(shù)?????? 就是統(tǒng)計前面lele出現(xiàn)的次數(shù)
lele\{n,\}????????????????????? 含義同上屁倔,但次數(shù)最少為n?????????????????
lele\{n,m\}?????????????????? lele出現(xiàn)次數(shù)在n與m之間
三劍客的功能非常強大锐借,但我們只需要掌握他們分別擅長的領(lǐng)域即可:grep擅長查找功能,sed擅長取行和替換严卖。awk擅長取列哮笆。
1.作用
Linux系統(tǒng)中g(shù)rep命令是一種強大的文本搜索工具,它能使用正則表達式搜索文本启具,并把匹 配的行打印出來珊泳。grep全稱是Global Regular Expression Print,表示全局正則表達式版本撞芍,它的使用權(quán)限是所有用戶跨扮。
2.格式
grep [options]
3.主要參數(shù)
[options]主要參數(shù):
--color=auto 對匹配到的文本著色顯示
-v 顯示不被pattern匹配到的行
-i 忽略字符大小寫
-n 顯示匹配的行號
-c 統(tǒng)計匹配的行數(shù)
-o 僅顯示匹配到的字符串
-q 靜默模式衡创,不輸出任何信息
-A # after, 后#行
-B # before, 前#行
-C # context, 前后各#行
-e 實現(xiàn)多個選項間的邏輯or關(guān)系
grep –e ‘cat ’ -e ‘dog’ file
-w 匹配整個單詞
-E 使用ERE,相當于egrep
-F 相當于fgrep,不支持正則表達式
測試:
grep ? ? 匹配條件?? 處理文件
grep root passwd ##貪婪匹配
grep ^root passwd ##以root開頭
grep bash$ passwd ##以bash結(jié)尾
grep -i root passwd ##忽略大小寫
grep -E "root|ROOT" passwd ##后面條件可以是一個正則表達式
cat -b passwd | grep mail ##默認顯示mail所在行
cat -b passwd | grep mail -2 ##查看mail及上下兩行
cat -b passwd | grep mail -A2 ##查看mail及下兩行
cat -b passwd | grep mail -B2 ##查看mail及上兩行
'ws'
'w...s'
'w.....'
'.....s'
sed是一種流編輯器巢寡,它一次處理一行內(nèi)容椰苟。處理時舆蝴,把當前處理的行存儲在臨時緩沖區(qū)中,稱為“模式空間”(pattern space)挨稿,接著用sed命令處理緩沖區(qū)中的內(nèi)容京痢,處理完成后,把緩沖區(qū)的內(nèi)容送往屏幕臭家。然后讀入下行钉赁,執(zhí)行下一個循環(huán)携茂。如果沒有使諸如‘D’ 的特殊命令,那會在兩個循環(huán)之間清空模式空間带膜,但不會清空保留空間。這樣不斷重復式廷,直到文件末尾滑废。文件內(nèi)容并沒有改變袜爪,除非你使用重定向存儲輸出。
1.sed命令格式
sed [option]...'script'inputfile
(1)選項
-n 不輸出模式空間內(nèi)容到屏幕俺陋,即不自動打印
-e 多點編輯
-f /PATH/SCRIPT_FILE: 從指定文件中讀取編輯腳本
-r 支持使用擴展正則表達式
-i 直接編輯文件
-i.bak 備份文件并原處編輯
(2)script 地址定界
不給地址:對全文進行處理
單地址:
#: 指定的行,$:最后一行
/pattern/:被此處模式所能夠匹配到的每一行
地址范圍:
#,#
#,+#
/pat1/,/pat2/
`#,/pat1/
~:步進
1~2 奇數(shù)行
2~2 偶數(shù)行
(3)編輯命令:
d 刪除模式空間匹配的行术浪,并立即啟用下一輪循環(huán)
p 打印當前模式空間內(nèi)容胰苏,追加到默認輸出之后
a [\]text1 在指定行后面追加文本,支持使用\n實現(xiàn)多行追加
i [\]text 在行前面插入文本
c [\]text 替換行為單行或多行文本
w /path/somefile 保存模式匹配的行至指定文件
r /path/somefile 讀取指定文件的文本至模式空間中匹配到的行后
= 為模式空間中的行打印行號
! 模式空間中匹配行取反處理
s///:查找替換,支持使用其它分隔符,s@@@法焰,s###
替換標記:
g 行內(nèi)全局替換
p 顯示替換成功的行
w /PATH/TO/SOMEFILE 將替換成功的行保存至文件中
(1)p模式操作
catfstab -n | sed5p##編輯第五行埃仪,并在屏幕中顯示
catfstab -n | sed -n4p ##只顯示第五行
catfstab -n | sed -n3,6p##顯示3-5行內(nèi)容
catfstab -n | sed -n '3p;6p' ##顯示第三行和第五行
sed-n'/#/p'fstab##顯示#所在行
sed -n'/#/!p'fstab##顯示不帶#的行
sed -n'/\:/p'fstab##顯示含:的行
sed -n'^UUID/p'fstab##顯示以UUID開頭的行
sed -n'/^$/!p'fstab##不顯示空白行
sed -n'/^$/!p'fstab | sed -n'/^#/!p'##不顯示空白行和#所在行
(2)d模式操作
sed'/^UUID/d'fstab##刪除UUID所在行
sed'/^UUID/!d'fstab##出UUID行,其他都刪除
sed'/^#/d'fstab##刪除所有含#的行
sed'/^$/d'fstab##刪除空格行
cat -n fstab | sed'5d'##刪除第五行
cat -n fstab | sed'2d;5d'##刪除第二行和第五行
cat -n fstab | sed'2,5d'##刪除2-5行
(3)a模式操作
sed'/^UUID/ahello'fstab##在UUID下一行添加
sed'/^UUID/ahello\nvan'fstab##在UUID下一行添加兩行
sed'4ahello\nvan'fstab##在第四行的下一行添加
sed'4ihello\nvan'fstab##在第四行插入
(4)c模式操作
sed'/#/chello'fstab##將所有含#的行改為hello
sed'/^#/cwestos'-i fstab##將所有含#的行給為westo并保存修改
練習:編寫一個腳本,用來改寫apache配置文件中的端口號
(5)w模式操作
sed'/^UUID/w file'fstab##將UUID所在行,導入file文件泛释,該文件可以不存在
(6).sed的其他用法
6.1統(tǒng)計文件行數(shù)
sed -n '/^UUID/=' fstab????? ##統(tǒng)計文件的行數(shù)
sed '/^UUID/=' fstab???????? ##將行數(shù)放到UUID所處位置
sed -n '$=' fstab??????????? ##統(tǒng)計行數(shù)
wc -l fstab | cut -d " " -f 1
6.2插入內(nèi)容
sed '6r /opt/insert' fstab?? ? ? ? ? ? ? ?? ? ? ##將/mnt/file文件的內(nèi)容放到fstab文件的第六行后
sed '$r /opt/insert' fstab?? ? ? ? ? ? ? ? ?? ? ##將/mnt/file文件的內(nèi)容放到fstab文件的最后
sed '$r /opt/insert' fstab -i fstab? ? ?? ?? ##保存對該文件的修改胁澳,該文件必須存在韭畸,不存在則不能使用該命令
sed '$r/opt/insert' fstab > test?? ??? ?? ?? ##?? ?保存修改到test文件中
6.3處理規(guī)則設定
sed -f rule fstab 根據(jù)文件中的規(guī)則對文件進行處理
vim rule
/^UUID/p
/UUID/=
6.4替換文件內(nèi)容
sed 's/sbin/#########/g' passwd?? ??? ?##將文件所有sbin替換成########
sed '1,5s/sbin/#########/g' passwd?? ?##將文件前五行中的sbin替換成########
sed '/adm/,/halt/s/sbin/********/g' passwd?? ?##將adm到halt行中的sbin替換成*******
sed 's/\///g' passwd?? ??? ??? ?##將passwd文件中的所有/刪除
6.5 @與/等同
sed 's@/@#####@g' passwd?? ??? ?##將passwd文件中的所有/替換成#####胰丁,其中@也是/
sed 's@sbin@####@g;s/nologin/*******/g' passwd
sed -e 's@sbin@####@g' -e 's/nologin/!!!!!/g' passwd
?6.6其他命令
sed'G'fstab##在每一行后面添加一個空白行
sed'$!G'fstab
sed'='fstab##在每一行前添加行號
sed'='fstab | sed'N;s/\n//'##進行預處理