20170726 文本處理工具(二) grep 正則表達(dá)式

一秽晚、grep 文本搜索工具

語(yǔ)法:

grep [OPTIONS] PATTERN [FILE...]

選項(xiàng):

-v     <!--顯示不被pattern匹配到的行-->
-i     <!--忽略字符大小寫(xiě)-->
-n     <!--顯示匹配的行號(hào)-->
-c     <!--統(tǒng)計(jì)匹配的行數(shù)-->
-o     <!--僅顯示匹配到的字符串-->
-q     <!--靜默模式雄可,不輸出任何信息,可以查看$?判斷命令是否成功執(zhí)行-->
-A #   <!--after, 后#行-->
-B #   <!--before, 前#行-->
-C #   <!--context, 前后各#行-->
-e     <!--實(shí)現(xiàn)多個(gè)選項(xiàng)間的邏輯or關(guān)系-->
-w     <!--匹配整個(gè)單詞-->
-E     <!--使用ERE擴(kuò)展正則表達(dá)式,相當(dāng)于egrep命令-->
-F     <!--相當(dāng)于fgrep,不支持正則表達(dá)式-->

實(shí)驗(yàn):

  1. 在/etc/passwd中搜索不包含nologin字符串的行
    命令:grep -v nologin /etc/passwd

  2. 在/etc/passwd中搜索包含tom(不分大小寫(xiě))字符串的行
    命令:grep -i tom /etc/passwd

  3. 在/etc/passwd顯示所有搜索到的bash字符串,并在字符串前輸出其所在的行號(hào)
    命令:grep -on bash /etc/passwd

  4. 在/etc/passwd中搜索包含mail的行康聂,并且顯示其后三行/前三行/前后各三行
    命令:

grep -A 3 mail /etc/passwd
grep -B 3 mail /etc/passwd
grep -C 3 mail /etc/passwd
  1. 在/etc/passwd中搜索有單詞root,shutdown,bin的行
    命令:grep -we root -we shutdown -we bin /etc/passwd

二、正則表達(dá)式 regular expressions

(一)定義:

由一類(lèi)特殊字符及文本字符所編寫(xiě)的模式胞四,其中有些字符(元字符)不表示字符字面意義恬汁,而表示控制或通配的功能。

(二)程序支持:

grep, sed, awk, vim等

(三)分類(lèi):

基本正則表達(dá)式(BRE)
擴(kuò)展正則表達(dá)式(ERE)

(四)元字符分類(lèi):

字符匹配辜伟、匹配次數(shù)氓侧、位置錨定、分組

三导狡、基本正則表達(dá)式元字符

(一)字符匹配

.             <!--匹配任意單個(gè)字符-->
[]            <!--匹配指定范圍內(nèi)的任意單個(gè)字符-->
[^]           <!--匹配指定范圍外的任意單個(gè)字符-->
[:digit:]     <!--十進(jìn)制數(shù)字-->
[:alpha:]     <!--任何英文大小寫(xiě)字符-->
[:alnum:]     <!--字母和數(shù)字-->
[:lower:]     <!--小寫(xiě)字母-->
[:upper:]     <!--大寫(xiě)字母-->
[:blank:]     <!--空白字符(空格和制表符)-->
[:space:]     <!--水平和垂直的空白字符-->

(二)匹配次數(shù)

*           <!--匹配前面的字符任意次约巷,包括0次-->
.*          <!--任意長(zhǎng)度的任意字符-->
\?          <!--匹配前面的字符0或1次-->
\+          <!--匹配前面的字符至少1次-->
\{n\}       <!--匹配前面的字符n次-->
\{m,n\}     <!--匹配前面的字符至少m次,至多n次-->
\{,n\}      <!--匹配前面的字符至多n次-->
\{n,\}      <!--匹配前面的字符至少n次-->
  • 實(shí)驗(yàn):
    新建文本文件file1旱捧,文件內(nèi)容如下:


    1. 搜索包含以g開(kāi)頭独郎,中間有任意個(gè)數(shù)的o,以gle結(jié)束的字符串廊佩;
      命令:grep go*gle file1

    2. 搜索包含以g開(kāi)頭囚聚,中間至少2個(gè)字母至多5個(gè)字母,以gle結(jié)束的字符串标锄;
      命令:grep "g[[:alpha:]]\{2,5\}gle" file1

    3. 搜索包含以g開(kāi)頭,中間至多1個(gè)字母茁计,以gle結(jié)束的字符串
      命令:grep "g[[:alpha:]]\?gle" file1

(三)位置錨定

^     <!--行首錨定料皇,用于模式的最左側(cè)-->
$     <!--行尾錨定,用于模式的最右側(cè)-->
^PATTERN$     <!--用于模式匹配整行-->
^$     <!--空行星压,不含空格-->
^[[:space:]]*$     <!--空白行践剂,可能含空格-->
\< 或\b     <!--詞首錨定,用于單詞模式的左側(cè)-->
\> 或\b     <!--詞尾錨定娜膘;用于單詞模式的右側(cè)-->
\<PATTERN\>匹配整個(gè)單詞

(四)分組逊脯、或者

  • 分組:\(\)將一個(gè)或多個(gè)字符捆綁在一起,當(dāng)作一個(gè)整體進(jìn)行處理
  • \1表示從左側(cè)起第一個(gè)左括號(hào)以及與之匹配右括號(hào)之間的模式所匹配到的字符竣贪,以此類(lèi)推
  • 例如:
\(string1\+\(string2\)*\)
\1:string1\+\(string2\)*     \2:string2
  • 后向引用:引用前面的分組括號(hào)中的模式所匹配字符军洼,而非模式本身
  • 或者:\|
abc\|cd       <!--abc或者cd-->
a\|bc         <!--a或者bc-->
\(a\|b\)c     <!--ac或者bc-->
  • 實(shí)驗(yàn):
    1. 在/etc/passwd搜索以a開(kāi)頭的用戶(hù)及其UID,并且按照UID從大到小排序
      命令:grep "^a" /etc/passwd | cut -d: -f1,3 | sort -nr -t: -k2

    2. 在/etc/passwd搜索以s開(kāi)頭中間至少1個(gè)英文或數(shù)字字符以d結(jié)束的單詞演怎,英文不分大小寫(xiě)
      命令:grep -i "\<s[[:alnum:]]\+d\>" /etc/passwd

    3. 在/etc/passwd搜索用戶(hù)名以t開(kāi)頭匕争,且同行包含與用戶(hù)名相同單詞的行
      命令:grep "\(^t.*\>\).*\1" /etc/passwd


      可以從上圖看到,tim用戶(hù)所在的行后tam單詞也匹配模式爷耀,但是并未搜索到甘桑。這證明后向引用前方分組括號(hào)中所匹配的字符,而非模式本身。

四跑杭、egrep和擴(kuò)展正則表達(dá)式

(一)egrep

egrep = grep -E 铆帽,語(yǔ)法與grep相同

(二)擴(kuò)展正則表達(dá)式元字符

  • 擴(kuò)展正則表達(dá)式與基本正則表達(dá)式的語(yǔ)法基本相同德谅,僅部分元字符刪減了\符號(hào)
  • 字符匹配,擴(kuò)展正則表達(dá)式字符匹配元字符與基本正則表達(dá)式相同
.       <!--任意單個(gè)字符-->
[]      <!--指定范圍的字符-->
[^]     <!--不在指定范圍的字符-->
  • 匹配次數(shù)
*         <!--匹配前面字符任意次-->
?         <!--0或1次女阀,比基本正則表達(dá)式省略了\-->
+         <!--1次或多次,比基本正則表達(dá)式省略了\-->
{m}       <!--匹配m次浸策,比基本正則表達(dá)式省略了\-->
{m,n}     <!--至少m,至多n次庸汗,比基本正則表達(dá)式省略了\-->
  • 位置錨定,擴(kuò)展正則表達(dá)式位置錨定元字符與基本正則表達(dá)式相同
^          <!--行首錨定-->
$          <!--行尾錨定-->
\<, \b     <!--詞首錨定-->
\>, \b     <!--語(yǔ)尾錨定-->
  • 分組蚯舱、或者
()             <!--分組,比基本正則表達(dá)式省略了\-->
\1, \2,...     <!--后向引用-->
abc|cd         <!--abc或者cd枉昏,比基本正則表達(dá)式省略了\-->
a|bc           <!--a或者bc,比基本正則表達(dá)式省略了\-->
(a|b)c         <!--ac或者bc兄裂,比基本正則表達(dá)式省略了\-->
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末句旱,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子晰奖,更是在濱河造成了極大的恐慌谈撒,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,997評(píng)論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件匾南,死亡現(xiàn)場(chǎng)離奇詭異啃匿,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)蛆楞,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,603評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門(mén)溯乒,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人臊岸,你說(shuō)我怎么就攤上這事橙数。” “怎么了帅戒?”我有些...
    開(kāi)封第一講書(shū)人閱讀 163,359評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵灯帮,是天一觀的道長(zhǎng)崖技。 經(jīng)常有香客問(wèn)我,道長(zhǎng)钟哥,這世上最難降的妖魔是什么迎献? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,309評(píng)論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮腻贰,結(jié)果婚禮上吁恍,老公的妹妹穿的比我還像新娘。我一直安慰自己播演,他們只是感情好冀瓦,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,346評(píng)論 6 390
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著写烤,像睡著了一般翼闽。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上洲炊,一...
    開(kāi)封第一講書(shū)人閱讀 51,258評(píng)論 1 300
  • 那天感局,我揣著相機(jī)與錄音,去河邊找鬼暂衡。 笑死询微,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的狂巢。 我是一名探鬼主播撑毛,決...
    沈念sama閱讀 40,122評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼隧膘!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 38,970評(píng)論 0 275
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤萨驶,失蹤者是張志新(化名)和其女友劉穎艇肴,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體核畴,經(jīng)...
    沈念sama閱讀 45,403評(píng)論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡谤草,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,596評(píng)論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了冀宴。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片温学。...
    茶點(diǎn)故事閱讀 39,769評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖逃延,靈堂內(nèi)的尸體忽然破棺而出揽祥,到底是詐尸還是另有隱情紧帕,我是刑警寧澤,帶...
    沈念sama閱讀 35,464評(píng)論 5 344
  • 正文 年R本政府宣布愈案,位于F島的核電站鹅搪,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏恢准。R本人自食惡果不足惜甫题,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,075評(píng)論 3 327
  • 文/蒙蒙 一坠非、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧炎码,春花似錦潦闲、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,705評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)既绩。三九已至还惠,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間救欧,已是汗流浹背锣光。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,848評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蹬刷,地道東北人频丘。 一個(gè)月前我還...
    沈念sama閱讀 47,831評(píng)論 2 370
  • 正文 我出身青樓搂漠,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親桐汤。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,678評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容

  • 概念 正則表達(dá)式窖张,又稱(chēng)正規(guī)表示式蚁滋、正規(guī)表示法赘淮、正規(guī)表達(dá)式梢卸、規(guī)則表達(dá)式、常規(guī)表示法(英語(yǔ):Regular Expre...
    dxldeng閱讀 2,483評(píng)論 0 2
  • Linux文件處理三劍客 grep : 文本過(guò)濾工具支持基礎(chǔ)正則表達(dá)式-E 支持?jǐn)U展正則表達(dá)式-F 支持快遞過(guò)濾(...
    魏鎮(zhèn)坪閱讀 690評(píng)論 0 1
  • 接觸Linux已經(jīng)三周了,小編我慢慢地開(kāi)始上手了戴陡。 現(xiàn)在隆重介紹grep大神及其兄弟正則表達(dá)式沟涨。 當(dāng)當(dāng)當(dāng)當(dāng),g...
    優(yōu)果馥斯閱讀 802評(píng)論 0 0
  • grep Linux上文本出來(lái)三劍客grep:文本過(guò)濾(模式:pattern)工具喜庞;grep ,egrep ,fg...
    數(shù)據(jù)革命閱讀 1,355評(píng)論 0 0
  • 我認(rèn)為善是人的天性延都,因?yàn)橄矏偸且粋€(gè)人與生俱來(lái)卻在后來(lái)被遺棄最后又重新追求回來(lái)的美好情感懊昨,而做善事是另人由衷喜悅的過(guò)...
    yadie閱讀 947評(píng)論 1 2