awk、grep谤牡、sed是linux操作文本的三大利器实柠，合稱文本三劍客，也是必須掌握的linux命令之一拯杠。
正則表達(dá)式
POSIX正則表達(dá)式分為基本正則表達(dá)式（BRE）和擴(kuò)展表達(dá)式（ERE）掏婶。
- 支持的命令
| 類型 | grep | sed | vi | more | egrep | awk |
|---|---|---|---|---|---|---|
| BRE | √ | √ | √ | √ | ||
| ERE | √ | √ |
- BRE 和ERE區(qū)別
| 字符 | 意義 | 支持的類型 |
|---|---|---|
| \ | 將下一個(gè)字符標(biāo)記為特殊字符，或者將一個(gè)元字符轉(zhuǎn)義為普通字符潭陪。如n加上\匹配一個(gè)換行符雄妥。\則匹配一個(gè)\字符。 | BOTH |
| ^ | 匹配輸入字符串的開始位置 | BOTH |
| $ | 匹配輸入字符串的結(jié)束位置 | BOTH |
| * | 匹配前面的子表達(dá)式0次或者多次依溯，如zo*能匹配z和zoo | BOTH |
| 老厌？ | 匹配前面的子表達(dá)式0次或者1次 | ERE |
| . | 匹配除\n之外的任何單個(gè)字符 | BOTH |
| + | 匹配前面的子表達(dá)式1次或者多次，如zo+能匹配zo和zoo黎炉，但不能匹配z | ERE |
| | | 匹配于|符號(hào)前或后的正則表達(dá)式 | ERE |
| {n,m} | 最少匹配n次枝秤，最多匹配m次和BRE的區(qū)別是不需要加\ | ERE |
| \{n\} | 匹配前面的子表達(dá)式n次 | BRE |
| \{n,\} | 至少匹配前面的子表達(dá)式n次 | BRE |
| \{n,m\} | 最少匹配n次，最多匹配m次 | BRE |
| \(\) | 將(與)間的模式存儲(chǔ)在特殊的保留空間 | BRE |
| \digit | 重復(fù)在(與)方括號(hào)內(nèi)第n個(gè)子模式至此點(diǎn)的模式 | BRE |
| [xyz] | 匹配xyz中的任何一個(gè)字符 | BOTH |
| [^xyz] | 匹配未包含的任意字符 | BOTH |
| [x-z] | 匹配小寫的字符 | BOTH |
GREP
grep 命令是一種強(qiáng)大的文本搜索工具慷嗜，它能使用正則表達(dá)式搜索文本淀弹，并把匹配的行打印出來。grep全稱是 Global Regular Expression Print庆械，表示全局正則表達(dá)式版本薇溃，它的使用權(quán)限是所有用戶。
命令的基本格式：grep [option] pattern file
option如下：
- -A<行數(shù) x>：除了顯示符合范本樣式的那一列之外干奢，并顯示該行之后的 x 行內(nèi)容痊焊。
grep -A2 "george" pets.txt - -B<行數(shù) x>：除了顯示符合樣式的那一行之外，并顯示該行之前的 x 行內(nèi)容忿峻。
grep -B2 "george" pets.txt - -C<行數(shù) x>：除了顯示符合樣式的那一行之外薄啥，并顯示該行之前后的 x 行內(nèi)容。
grep -C2 "george" pets.txt - -c：統(tǒng)計(jì)匹配的行數(shù)
grep -c "name" pets.txt - -e ：實(shí)現(xiàn)多個(gè)選項(xiàng)間的邏輯or 關(guān)系
grep -e "betty" -e "frank" pets.txt
grep -c -e "betty" -e "frank" pets.txt - -E：擴(kuò)展的正則表達(dá)式
grep -E "[a-z]{4,}'s" pets.txt
grep "[a-z]\{4,\}'s" pets.txt - -f 文件名：從文件獲取 PATTERN 匹配
echo frank > patten.txt
grep -nf patten.txt pets.txt - -F ：相當(dāng)于fgrep
grep -F相當(dāng)于fgrep命令逛尚，就是將pattern視為固定字符串垄惧。比如搜索'aa*'不帶-F和帶上，區(qū)別如下：
echo aaaa | grep "aa*"
echo aaaa | grep -F "aa*"
echo aa* | grep -F "aa*" - -i --ignore-case #忽略字符大小寫的差別绰寞。
grep -i "Frank" pets.txt - -n：顯示匹配的行號(hào)
grep -in "dog" pets.txt - -o：僅顯示匹配到的字符串
grep -o "dog" pets.txt - -q： 靜默模式到逊，不輸出任何信息
多用于shell腳本中铣口，做if判斷 - -s：不顯示錯(cuò)誤信息。
- -v：顯示不被 pattern 匹配到的行觉壶，相當(dāng)于[^] 反向匹配
grep -v "dog" pets.txt - -w ：匹配 整個(gè)單詞
grep "do" pets
grep -w "do" pets.txt
AWK
awk是一個(gè)強(qiáng)大的文本分析工具脑题，相對(duì)于grep的查找，sed的編輯铜靶，awk在其對(duì)數(shù)據(jù)分析并生成報(bào)告時(shí)叔遂，顯得尤為強(qiáng)大。簡(jiǎn)單來說awk就是把文件逐行的讀入争剿，以空格為默認(rèn)分隔符將每行切片已艰，切開的部分再進(jìn)行各種分析處理。對(duì)于日志蚕苇、CSV 那樣的每行格式相同的文本文件哩掺，awk可能是最方便的工具。
之所以叫 AWK 是因?yàn)槠淙×巳粍?chuàng)始人 Alfred Aho涩笤，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符嚼吞。
命令的基本格式： *awk '{[pattern] action}' {filenames} *
變量
- $num表示第num列
- NF表示有多少列
- NR表示第幾行
awk '{print NR,$NF}' pets.txt
分隔符
- FS：字段分隔符，默認(rèn)是空格和制表符蹬碧。
- RS：行分隔符誊薄，用于分割每一行，默認(rèn)是換行符锰茉。
- OFS：輸出字段的分隔符呢蔫，用于打印時(shí)分隔字段，默認(rèn)為空格飒筑。
- ORS：輸出記錄的分隔符片吊，用于打印時(shí)分隔記錄，默認(rèn)為換行符协屡。
- OFMT：數(shù)字輸出的格式俏脊，默認(rèn)為％.6g。
echo a-b-c| awk -v OFS="/" -F "-" '{print NR,$NF}'
echo a,b,c,d#e,f,g,h | awk -v RS="#" -v OFS="/" -v ORS="," -F "," '{print $1,$2}' Desktop/test.txt
參數(shù)
- -v 變量替換
- -F 指定字段分隔符
模式
- NR 判斷
awk 'NR%2 ==0 {print $5}' pets.txt - 正則判斷
awk '/This/{print $4}' pets.txt - if 判斷
echo -e "12345ms\n4ms" | egrep -o "[0-9]+" | awk '{if(int($1) > 222) print $1; else print "----"}' - 函數(shù)
tolower()：字符轉(zhuǎn)為小寫肤晓。
length()：返回字符串長(zhǎng)度爷贫。
substr()：返回子字符串。
sin()：正弦补憾。
cos()：余弦漫萄。
sqrt()：平方根。
rand()：隨機(jī)數(shù)盈匾。
https://www.gnu.org/software/gawk/manual/html_node/Built_002din.html#Built_002din
SED
sed 命令的作用是利用腳本來處理文本文件腾务。sed全名叫stream editor，流編輯器削饵，用程序的方式來編輯文本岩瘦。
命令的基本格式： sed [-hnV][-e<script>][-f<script文件>][文本文件]
參數(shù)說明：
- -e<script>或--expression=<script> 以選項(xiàng)中指定的 script 來處理輸入的文本文件未巫，這個(gè)-e可以省略，直接寫表達(dá)式启昧。多個(gè)多項(xiàng)編輯叙凡。
- -f<script文件>或--file=<script文件>以選項(xiàng)中指定的 script 文件來處理輸入的文本文件。
- -n 取消默認(rèn)輸出
- -i 覆蓋原文件
- -r使用擴(kuò)展正則表達(dá)式
動(dòng)作說明：
- a：新增密末， a 的后面可以接字串狭姨，而這些字串會(huì)在新的一行出現(xiàn)(目前的下一行)～
奇數(shù)行后增加
echo -e "1\n2\n3\n4\n5" | sed "1~2 a www" - c：取代， c 的后面可以接字串苏遥，這些字串可以取代 n1,n2 之間的行！
echo -e "1\n2\n3\n4\n5" | sed "1,2c www"
echo -e "1\n2\n3\n4\n5" | sed -e "1c www" -e "2c bb" - d：刪除赡模，因?yàn)槭莿h除田炭，所以 d 后面通常不接任何東西；
刪除注釋的行
echo -e "#todo\ndef s\nputs 'b'\nend" | sed "/^#/d" - i：插入漓柑， i 的后面可以接字串教硫，而這些字串會(huì)在新的一行出現(xiàn)(目前的上一行)；
echo -e "1\n2\n3\n4\n5" | sed "1 i aaa" - p：打印辆布，亦即將某個(gè)選擇的數(shù)據(jù)印出瞬矩。通常 p 會(huì)與參數(shù) sed -n 一起運(yùn)行～
echo -e "1\n2\n3\n4\n5" | sed -n "1p" - s：取代，通常這個(gè) s 的動(dòng)作可以搭配正規(guī)表示法锋玲，例如 1,20s/old/new/g 景用。
替換每行第一個(gè)is 為was：sed 's/is/was/1' pets.txt
替換每行全部is為wassed 's/is/was/g' pets.txt
替換偶數(shù)行 is為wassed '1~2! s/is/was/g' pets.txt
覆蓋原文件sed -i '1~2! s/is/was/g' pets.txt
