01

簡介

在平時開發(fā)過程中擂送，難免會查看生產(chǎn)日志去追蹤問題原因葛家。在海量日志中去查到我們想要的日志就無法避免使用grep命令名挥。

grep (global search regular expression(RE) and print out the line,全面搜索正則表達式并把行打印出來)是一種強大的文本搜索工具狼钮，它能使用正則表達式搜索文本霜大，并把匹配的行打印出來真朗。

Unix的grep家族包括grep、egrep和fgrep僧诚。egrep和fgrep的命令只跟grep有很小不同遮婶。egrep是grep的擴展，支持更多的re元字符湖笨， fgrep就是fixed grep或fast grep旗扑，它們把所有的字母都看作單詞，也就是說慈省，正則表達式中的元字符表示回其自身的字面意義臀防，不再特殊。linux使用GNU版本的grep边败。它功能更強袱衷，可以通過-G、-E笑窜、-F命令行選項來使用egrep和fgrep的功能致燥。

02

grep常用用法

[root@www ~]# grep [-acinv] [--color=auto] '搜尋字符串' filename

選項與參數(shù)：

-a ：將 binary 文件以 text 文件的方式搜尋數(shù)據(jù)

-c ：計算找到 '搜尋字符串' 的次數(shù)

-i ：忽略大小寫的不同，所以大小寫視為相同

-n ：順便輸出行號

-v ：反向選擇排截，亦即顯示出沒有 '搜尋字符串' 內(nèi)容的那一行嫌蚤！

--color=auto ：可以將找到的關(guān)鍵詞部分加上顏色的顯示喔！

舉例：將/etc/passwd断傲，有出現(xiàn) root 的行取出來

# grep root /etc/passwd

root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

或

# cat /etc/passwd | grep root 

root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

舉例：將/etc/passwd脱吱，有出現(xiàn) root 的行取出來,同時顯示這些行在/etc/passwd的行號

# grep -n root /etc/passwd

1:root:x:0:0:root:/root:/bin/bash
30:operator:x:11:0:operator:/root:/sbin/nologin

在關(guān)鍵字的顯示方面，grep 可以使用 --color=auto 來將關(guān)鍵字部分使用顏色顯示认罩。 這可是個很不錯的功能跋潋稹！但是如果每次使用 grep 都得要自行加上 --color=auto 又顯的很麻煩～ 此時那個好用的 alias 就得來處理一下啦垦垂！你可以在 ~/.bashrc 內(nèi)加上這行：alias grep='grep --color=auto再以source ~/.bashrc來立即生效即可喔宦搬！ 這樣每次運行 grep 他都會自動幫你加上顏色顯示啦

舉例：將/etc/passwd，將沒有出現(xiàn) root 的行取出來

# grep -v root /etc/passwd

舉例：將/etc/passwd乔外，將沒有出現(xiàn) root 和nologin的行取出來

# grep -v root /etc/passwd | grep -v nologin

舉例：用 dmesg 列出核心信息床三，再以 grep 找出內(nèi)含 eth 那行,要將捉到的關(guān)鍵字顯色，且加上行號來表示：

[root@www ~]# dmesg | grep -n --color=auto 'eth'

247:eth0: RealTek RTL8139 at 0xee846000, 00:90:cc:a6:34:84, IRQ 10248:eth0: Identified 8139 chip type 'RTL-8139C'
294:eth0: link up, 100Mbps, full-duplex, lpa 0xC5E1305:eth0: no IPv6 routers present

用 dmesg 列出核心信息杨幼，再以 grep 找出內(nèi)含 eth 那行,在關(guān)鍵字所在行的前兩行與后三行也一起捉出來顯示

[root@www ~]# dmesg | grep -n -A3 -B2 --color=auto 'eth'

245-PCI: setting IRQ 10 as level-triggered
246-ACPI: PCI Interrupt 0000:00:0e.0[A] -> Link [LNKB] ...

247:eth0: RealTek RTL8139 at 0xee846000, 00:90:cc:a6:34:84, IRQ 10
248:eth0: Identified 8139 chip type 'RTL-8139C'

249-input: PC Speaker as /class/input/input2
250-ACPI: PCI Interrupt 0000:00:01.4[B] -> Link [LNKB] ...
251-hdb: ATAPI 48X DVD-ROM DVD-R-RAM CD-R/RW drive, 2048kB Cache, UDMA(66)

如上所示撇簿，你會發(fā)現(xiàn)關(guān)鍵字 247 所在的前兩行及 248 后三行也都被顯示出來聂渊！
這樣可以讓你將關(guān)鍵字前后數(shù)據(jù)捉出來進行分析啦！

根據(jù)文件內(nèi)容遞歸查找目錄

# grep ‘energywise’ *           #在當(dāng)前目錄搜索帶'energywise'行的文件

# grep -r ‘energywise’ *        #在當(dāng)前目錄及其子目錄下搜索'energywise'行的文件

# grep -l -r ‘energywise’ *     #在當(dāng)前目錄及其子目錄下搜索'energywise'行的文件四瘫，但是不顯示匹配的行汉嗽，只顯示匹配的文件

這幾個命令很使用，是查找文件的利器找蜜。

03

grep與正則表達式

字符類

字符類的搜索：如果我想要搜尋 test 或 taste 這兩個單字時饼暑，可以發(fā)現(xiàn)到，其實她們有共通的 't?st' 存在～這個時候洗做，我可以這樣來搜尋：

[root@www ~]# grep -n 't[ae]st' regular_express.txt

8:I can't finish the test.
9:Oh! The soup taste good.

其實 [] 里面不論有幾個字節(jié)弓叛，他都謹(jǐn)代表某一個字節(jié)， 所以诚纸，上面的例子說明了撰筷，我需要的字串是『tast』或『test』兩個字串而已！

字符類的反向選擇 [^] ：如果想要搜索到有 oo 的行畦徘，但不想要 oo 前面有 g毕籽，如下

[root@www ~]# grep -n '[^g]oo' regular_express.txt

2:apple is my favorite food.
3:Football game is not use feet only.
18:google is the best tools for search keyword.
19:goooooogle yes!

第 2,3 行沒有疑問，因為 foo 與 Foo 均可被接受井辆！

但是第 18 行明明有 google 的 goo 啊～別忘記了关筒，因為該行后面出現(xiàn)了 tool 的 too 啊杯缺！所以該行也被列出來～ 也就是說蒸播， 18 行里面雖然出現(xiàn)了我們所不要的項目 (goo) 但是由於有需要的項目 (too) ， 因此夺谁，是符合字串搜尋的喔廉赔！

至於第 19 行，同樣的匾鸥，因為 goooooogle 里面的 oo 前面可能是 o ，例如： go(ooo)oogle 碉纳，所以勿负，這一行也是符合需求的！

字符類的連續(xù)：再來劳曹，假設(shè)我 oo 前面不想要有小寫字節(jié)奴愉，所以，我可以這樣寫 [^abcd....z]oo 铁孵， 但是這樣似乎不怎么方便锭硼，由於小寫字節(jié)的 ASCII 上編碼的順序是連續(xù)的， 因此蜕劝，我們可以將之簡化為底下這樣：

[root@www ~]# grep -n '[^a-z]oo' regular_express.txt

3:Football game is not use feet only.

也就是說檀头，當(dāng)我們在一組集合字節(jié)中轰异，如果該字節(jié)組是連續(xù)的，例如大寫英文/小寫英文/數(shù)字等等暑始， 就可以使用[a-z],[A-Z],[0-9]等方式來書寫搭独，那么如果我們的要求字串是數(shù)字與英文呢？ 呵呵廊镜！就將他全部寫在一起牙肝，變成：[a-zA-Z0-9]。

我們要取得有數(shù)字的那一行嗤朴，就這樣：

[root@www ~]# grep -n '[0-9]' regular_express.txt

5:However, this dress is about $ 3183 dollars.
15:You are the best is mean you are the no. 1.

行首與行尾字節(jié) ^ $

行首字符：如果我想要讓 the 只在行首列出呢配椭？ 這個時候就得要使用定位字節(jié)了！我們可以這樣做：

[root@www ~]# grep -n '^the' regular_express.txt

12:the symbol '*' is represented as start.

此時雹姊，就只剩下第 12 行股缸，因為只有第 12 行的行首是 the 開頭啊～此外， 如果我想要開頭是小寫字節(jié)的那一行就列出呢容为？可以這樣：

[root@www ~]# grep -n '^[a-z]' regular_express.txt

2:apple is my favorite food.
4:this dress doesn't fit me.
10:motorcycle is cheap than car.
12:the symbol '*' is represented as start.
18:google is the best tools for search keyword.
19:goooooogle yes!
20:go! go! Let's go.

如果我不想要開頭是英文字母乓序，則可以是這樣：

[root@www ~]# grep -n '^[^a-zA-Z]' regular_express.txt

1:"Open Source" is a good mechanism to develop programs.
21:# I am VBird

^ 符號，在字符類符號(括號[])之內(nèi)與之外是不同的坎背！ 在 [] 內(nèi)代表『反向選擇』替劈，在 [] 之外則代表定位在行首的意義！

那如果我想要找出來得滤，行尾結(jié)束為小數(shù)點 (.) 的那一行：

[root@www ~]# grep -n '\.$' regular_express.txt

1:"Open Source" is a good mechanism to develop programs.
2:apple is my favorite food.
3:Football game is not use feet only.
4:this dress doesn't fit me.10:motorcycle is cheap than car.11:This window is clear.
12:the symbol '*' is represented as start.
15:You are the best is mean you are the no. 1.
16:The world <Happy> is the same with "glad".
17:I like dog.
18:google is the best tools for search keyword.
20:go! go! Let's go.

特別注意到陨献，因為小數(shù)點具有其他意義(底下會介紹)，所以必須要使用轉(zhuǎn)義字符()來加以解除其特殊意義懂更！

找出空白行：

[root@www ~]# grep -n '^$' regular_express.txt

22:

因為只有行首跟行尾 (^$)眨业，所以，這樣就可以找出空白行啦沮协！

任意一個字節(jié) . 與重復(fù)字節(jié) *

這兩個符號在正則表達式的意義如下：

. (小數(shù)點)：代表『一定有一個任意字節(jié)』的意思龄捡；* (星號)：代表『重復(fù)前一個字符， 0 到無窮多次』的意思慷暂，為組合形態(tài)

假設(shè)我需要找出 g??d 的字串聘殖，亦即共有四個字節(jié)， 起頭是 g 而結(jié)束是 d 行瑞，我可以這樣做：

[root@www ~]# grep -n 'g..d' regular_express.txt

1:"Open Source" is a good mechanism to develop programs.
9:Oh! The soup taste good.
16:The world <Happy> is the same with "glad".

因為強調(diào) g 與 d 之間一定要存在兩個字節(jié)奸腺，因此，第 13 行的 god 與第 14 行的 gd 就不會被列出來啦血久！

如果我想要列出有 oo, ooo, oooo 等等的數(shù)據(jù)突照， 也就是說，至少要有兩個(含) o 以上氧吐，該如何是好讹蘑？

因為 * 代表的是『重復(fù) 0 個或多個前面的 RE 字符』的意義末盔， 因此，『o』代表的是：『擁有空字節(jié)或一個 o 以上的字節(jié)』衔肢，因此庄岖，『 grep -n 'o' regular_express.txt 』將會把所有的數(shù)據(jù)都列印出來終端上！

當(dāng)我們需要『至少兩個 o 以上的字串』時角骤，就需要 ooo* 隅忿，亦即是：

[root@www ~]# grep -n 'ooo*' regular_express.txt

1:"Open Source" is a good mechanism to develop programs.
2:apple is my favorite food.
3:Football game is not use feet only.
9:Oh! The soup taste good.
18:google is the best tools for search keyword.
19:goooooogle yes!

如果我想要字串開頭與結(jié)尾都是 g，但是兩個 g 之間僅能存在至少一個 o 邦尊，亦即是 gog, goog, gooog.... 等等背桐，那該如何？

[root@www ~]# grep -n 'goo*g' regular_express.txt

18:google is the best tools for search keyword.
19:goooooogle yes!

如果我想要找出 g 開頭與 g 結(jié)尾的行蝉揍，當(dāng)中的字符可有可無

[root@www ~]# grep -n 'g.*g' regular_express.txt

1:"Open Source" is a good mechanism to develop programs.
14:The gd software is a library for drafting programs.
18:google is the best tools for search keyword.
19:goooooogle yes!
20:go! go! Let's go.

因為是代表 g 開頭與 g 結(jié)尾链峭，中間任意字節(jié)均可接受，所以又沾，第 1, 14, 20 行是可接受的喔弊仪！ 這個 .* 的 RE 表示任意字符是很常見的.

如果我想要找出『任意數(shù)字』的行？因為僅有數(shù)字杖刷，所以就成為：

[root@www ~]# grep -n '[0-9][0-9]*' regular_express.txt

5:However, this dress is about $ 3183 dollars.
15:You are the best is mean you are the no. 1.

限定連續(xù) RE 字符范圍 {}

我們可以利用 . 與 RE 字符及 * 來配置 0 個到無限多個重復(fù)字節(jié)励饵， 那如果我想要限制一個范圍區(qū)間內(nèi)的重復(fù)字節(jié)數(shù)呢？

舉例來說滑燃，我想要找出兩個到五個 o 的連續(xù)字串役听，該如何作？這時候就得要使用到限定范圍的字符 {} 了表窘。 但因為 { 與 } 的符號在 shell 是有特殊意義的典予，因此， 我們必須要使用字符 \ 來讓他失去特殊意義才行乐严。 至於 {} 的語法是這樣的瘤袖，假設(shè)我要找到兩個 o 的字串，可以是：

[root@www ~]# grep -n 'o\{2\}' regular_express.txt

1:"Open Source" is a good mechanism to develop programs.
2:apple is my favorite food.
3:Football game is not use feet only.
9:Oh! The soup taste good.
18:google is the best tools for search ke
19:goooooogle yes!

假設(shè)我們要找出 g 后面接 2 到 5 個 o 昂验，然后再接一個 g 的字串孽椰，他會是這樣：

[root@www ~]# grep -n 'go\{2,5\}g' regular_express.txt

18:google is the best tools for search keyword.

如果我想要的是 2 個 o 以上的 goooo....g 呢？除了可以是 gooo*g 凛篙，也可以是：

[root@www ~]# grep -n 'go\{2,\}g' regular_express.txt

18:google is the best tools for search keyword.
19:goooooogle yes!

擴展grep(grep -E 或者 egrep)：

使用擴展grep的主要好處是增加了額外的正則表達式元字符集。

打印所有包含NW或EA的行栏渺。如果不是使用egrep呛梆，而是grep，將不會有結(jié)果查出磕诊。

# egrep 'NW|EA' testfile    

northwest       NW      Charles Main        3.0     .98     3       34
eastern         EA      TB Savage           4.4     .84     5       20

對于標(biāo)準(zhǔn)grep填物，如果在擴展元字符前面加\纹腌，grep會自動啟用擴展選項-E。

#grep 'NW\|EA' testfile

northwest       NW      Charles Main        3.0     .98     3       34
eastern         EA      TB Savage           4.4     .84     5       20

搜索所有包含一個或多個3的行滞磺。

# egrep '3+' testfile
# grep -E '3+' testfile
# grep '3\+' testfile        

這3條命令的結(jié)果將會

northwest       NW      Charles Main          3.0     .98     3       34
western         WE      Sharon Gray           5.3     .97     5       23
northeast       NE      AM Main Jr.           5.1     .94     3       13
central         CT      Ann Stephens          5.7     .94     5       13

搜索所有包含0個或1個小數(shù)點字符的行升薯。

# egrep '2\.?[0-9]' testfile
# grep -E '2\.?[0-9]' testfile
# grep '2\.\?[0-9]' testfile

首先含有2字符，其后緊跟著0個或1個點击困，后面再是0和9之間的數(shù)字涎劈。

western         WE       Sharon Gray          5.3     .97     5       23
southwest       SW      Lewis Dalsass         2.7     .8      2       18
eastern         EA       TB Savage             4.4     .84     5       20

搜索一個或者多個連續(xù)的no的行。

# egrep '(no)+' testfile
# grep -E '(no)+' testfile
# grep '\(no\)\+' testfile   

3個命令返回相同結(jié)果阅茶，

northwest       NW      Charles Main        3.0     .98     3       34
northeast       NE       AM Main Jr.        5.1     .94     3       13
north           NO      Margot Weber        4.5     .89     5       9

不使用正則表達式

fgrep 查詢速度比grep命令快蛛枚，但是不夠靈活：它只能找固定的文本，而不是規(guī)則表達式脸哀。

如果你想在一個文件或者輸出中找到包含星號字符的行

fgrep  '*' /etc/profile
for i in /etc/profile.d/*.sh ; do

或

grep -F '*' /etc/profile
for i in /etc/profile.d/*.sh ; do