寫在前面
本篇是個人學(xué)習(xí)整理筆記而得。
原書：Sed and Awk 101 Hacks -中文版
引用書結(jié)尾的一句話:
Knowledge is not one man’s Entity
awk 基本使用
1. 程序結(jié)構(gòu)
### begin 區(qū)域的語法:
BEGIN { awk-commands }
### BEGIN 區(qū)域的命令只在最開始執(zhí)行一次姻政，可選
### body 區(qū)域的語法：
/pattern/{action}
### 每從輸入文件中讀取一行涵妥，就會執(zhí)行一次body區(qū)域的命令
### end 區(qū)域的語法：
END { awk-commands }
### END 區(qū)域在 awk 執(zhí)行完所有操作后執(zhí)行蓄坏，并且只執(zhí)行一次盛龄，可選
### 一個例子
]# awk 'BEGIN {FS=":";print"-----header-----"} \
> /mail/{print $1} \
> END {print "-----footer-----"}' /etc/passwd
-----header-----
mail
-----footer-----
]#
2. 執(zhí)行多個文件
### 例子
]# awk 'BEGIN {FS=":";print "-----header-----"}
/mail/{print $1}
END {print "------footer-----"}' /etc/passwd /etc/group
-----header-----
mail
mail
------footer-----
]#
### 注意扎筒，即是指定了多個文件艰山，BEGIN 和 END 區(qū)域，仍然只會執(zhí)行一次
3. 打印命令 print
### 不帶參數(shù)，打印整行數(shù)據(jù)
]# awk '{print}' employee.txt
101,John Doe,CEO
102,Jason Smith,IT Manager
103,Raj Reddy,Sysadmin
104,Anand Ram,Developer
105,Jane Miller,Sales Manager
]#
### 按逗號分隔打印第二個字段
]# awk -F ',' '{print $2}' employee.txt
John Doe
Jason Smith
Raj Reddy
Anand Ram
Jane Miller
]#
4. 模式匹配
### 和sed一樣谣辞，awk也可以只對匹配到的行進(jìn)行操作
# 只打印管理者行
]# awk -F ',' '/Manager/{print $2": "$3}' employee.txt
Jason Smith: IT Manager
Jane Miller: Sales Manager
]#
awk 內(nèi)置變量
1. FS - 輸入字段分隔符
### 默認(rèn)分隔符是一個或多個空格字符
### -F 選項的作用和FS變量一樣的
### FS 變量只能在BEGIN區(qū)域定義
### FS 變量支持正則
]# cat employee.txt
101,John Doe:CEO%10000
102,Jason Smith:IT Manager%5000
103,Raj Reddy:Sysadmin%4500
104,Anand Ram:Developer%4500
105,Jane Miller:Sales Manager%3000
]# awk 'BEGIN {FS="[,:%]"}{print $2": "$3}' employee.txt
John Doe: CEO
Jason Smith: IT Manager
Raj Reddy: Sysadmin
Anand Ram: Developer
Jane Miller: Sales Manager
]#
2. OFS - 輸出字段分隔符
### 默認(rèn)情況下迫摔，awk輸出字段之間是以空格分開
]# awk -F ',' '{print $2,$3}' employee.txt
John Doe CEO
Jason Smith IT Manager
Raj Reddy Sysadmin
Anand Ram Developer
Jane Miller Sales Manager
]#
### 使用OFS變量指定輸出分隔符
]# awk -F ',' 'BEGIN {OFS=": "} {print $2,$3}' employee.txt
John Doe: CEO
Jason Smith: IT Manager
Raj Reddy: Sysadmin
Anand Ram: Developer
Jane Miller: Sales Manager
]#
### 輸出變量間沒有逗號，不使用OFS泥从，輸出打印間沒有字符
]# awk -F ',' 'BEGIN {OFS=": "} {print $2$3}' employee.txt
John DoeCEO
Jason SmithIT Manager
Raj ReddySysadmin
Anand RamDeveloper
Jane MillerSales Manager
]#
3. RS - 記錄分隔符
### 默認(rèn)情況下記錄分隔符是換行符
### 一條記錄也就是默認(rèn)情況下的一行
# 要打印雇員的姓名
]# cat emp_one_line.txt
101,John Doe;102,Jason Smith;103,Raj Reddy;104,Anand Ram;105,Jane, Miller
]# awk -F ',' '{print $2}' emp_one_line.txt
John Doe;102
]#
# 需要指定記錄分隔符為分號
]# awk -F ',' 'BEGIN {RS=";"} {print $2}' emp_one_line.txt
John Doe
Jason Smith
Raj Reddy
Anand Ram
Jane
]#
4. ORS - 輸出記錄分隔符
### 可以看出默認(rèn)的輸出記錄分隔符是換行符
# 使用ORS指定輸出每行換隔
]# awk 'BEGIN {FS=",";OFS=": ";ORS="\n-----\n"} {print $2,$3}' employee.txt
John Doe: CEO
-----
Jason Smith: IT Manager
-----
Raj Reddy: Sysadmin
-----
Anand Ram: Developer
-----
Jane Miller: Sales Manager
-----
]#
5. NR - 記錄序號
### NR是記錄每一行的行號
### 在END塊中NR值是最后一行的行號，也就是總行數(shù)
]# awk 'BEGIN {FS=","}
{print "Emp Id of record number",NR,"is",$1}
END {print "Total number of records:",NR}' employee.txt
Emp Id of record number 1 is 101
Emp Id of record number 2 is 102
Emp Id of record number 3 is 103
Emp Id of record number 4 is 104
Emp Id of record number 5 is 105
Total number of records: 5
]#
### 在BEGIN塊中NR的值是0
]# awk 'BEGIN {FS=",";print NR}' empname.txt
0
]#
6. FILENAME - 當(dāng)前處理得文件名
### awk在處理多個文件時沪摄，F(xiàn)ILENAME變量可以顯示當(dāng)前處理得文件名
]# awk '{print FILENAME}' employee.txt emp_one_line.txt
employee.txt
employee.txt
employee.txt
employee.txt
employee.txt
emp_one_line.txt
]#
### 沒有輸入文件時躯嫉，F(xiàn)ILENAME的值是-
]# echo "Johe Doe" | awk '{print "Last name:",$2;print "Filename:"FILENAME}'
Last name: Doe
Filename:-
]#
7. FNR - 文件中的NR
### 在處理多個文件時，NR會在多個文件之間持續(xù)疊加
### FNR會在不同文件杨拐，分別疊加行數(shù)
]# awk 'BEGIN{OFS=": "} {print FILENAME,FNR}' employee.txt emp_one_line.txt
employee.txt: 1
employee.txt: 2
employee.txt: 3
employee.txt: 4
employee.txt: 5
emp_one_line.txt: 1
]#
awk
awk 語法和基礎(chǔ)命令
awk 程序結(jié)構(gòu)
- BEGIN 區(qū)域
- BEGIN { awk-commands }
- 最開始階段執(zhí)行僅一次
- 可以一個或多個命令
- 關(guān)鍵字 BEGIN 必須大寫
- 可選
- body 區(qū)域
- /pattern/{action}
- 每次讀取一行時都執(zhí)行
- 沒有關(guān)鍵字
- END 區(qū)域
- END{ awk-commands }
- 最后階段執(zhí)行僅一次
- 可以一個或多個命令
- 關(guān)鍵字 END 必須大寫
- 可選
# 例子一枚
]# awk 'BEGIN{ FS=":";print("-----header-----")} \
/mail/{print $1} \
END { print "-----footer-----"} ' /etc/passwd
-----header-----
mail
-----footer-----
# 支持輸入多文件, 支持多字符分割
awk -F '[:/]' '/mail/{print $1}' /etc/passwd /etc/group
print 命令
# 不帶參數(shù)祈餐，打印整行數(shù)據(jù)
awk '{print}' <filename>
# 等價于
awk '{print $0}' <filename>
# $<n>, 打印指定字段
awk '{print $2}' <filename>
# $<n>, 打印指定字段
awk '{print $2}' <filename>
# 模式匹配
awk '/pattern/{print $2}' <filename>
awk 內(nèi)置變量
FS - 輸入字段分隔符
默認(rèn)一個或多個 空格 為輸入分隔符
awk 'BEGIN{ FS=":" }/mail/{print $1}' <filename>
# 等價于
awk -F ':' '/mail/{print $1}' <filename>
# 正則匹配多個分隔符
awk 'BEGIN{ FS="[:/]" }/mail/{print $1}' <filename>
OFS - 輸出字段分隔符
默認(rèn) 空格 為輸出字段輸出分隔符
awk 'BEGIN{ FS=":";OFS="||"; }/mail/{print $1,$2}' <filename>
RS - 記錄分隔符
默認(rèn) 換行符 為記錄分隔符
# 處理所有數(shù)據(jù)在單行
# 假使數(shù)據(jù)之間以':'隔開的
awk 'BEGIN{ RS=":" }{print $2}' <filename>
ORS - 輸出記錄分隔符
默認(rèn) 換行符 為輸出記錄分隔符
# 以 ';' 為ORS
awk 'BEGIN{ ORS=";" }{print $$2}' <filename>
NR - 記錄序號
處理時的記錄序號，重復(fù)處理會疊加
awk -F ':' '{print NR,"is",$1}' <filename>
FNR - 文件中的序號
文件中的記錄序號哄陶，重復(fù)處理不會疊加
awk -F ':' '{print FNR,"is",$1}' <filename>
FILENAME - 當(dāng)前文件名
awk -F ':' '{print FILENAME,$1}' <filename01> <filename02>
awk 變量操作符
變量
$ vi total-company-salary.awk
BEGIN {
FS=",";
total=0;
}
{
print $2 "'s slary is: " $4;
total=total+$4
}
END {
print "---\nTotal company salary =$"total;
}
一元操作符
- 取正
+ - 取反
- - 自增
++ - 自減
--
算術(shù)操作符
- 加
+ - 減
- - 乘
* - 除
/ - 取余
%
字符串操作符
空格: 字符串連接符
str03=str01 str02
賦值操作符
- 賦值
= - 加法賦值
+= - 減法賦值
-= - 乘法賦值
*= - 除法賦值
/= - 取模賦值
%=
比較操作符
- 大于/大于等于
>>= - 小于/小于等于
<<= - 等于/不等于
==!= - 且/或
&&||
正則操作符
- 匹配
~ - 匹配
!~
awk 分支和循環(huán)
if else
if(conditional-expression)
{
action01;
}
else
{
action02;
}
三元操作符
BEGIN{
FS=":";
}
{
aa=$3==27?$1:$3
print aa
}
while 循環(huán)
do while 類似
BEGIN{
FS=":";
}
{
i=0
while(i<3)
{
print $1
i++
}
}
for 循環(huán)
]# echo -e '1 3 5 7\n2 4 6 8' | awk '{for(i=1;i<=NF;i++){total=total+$i;}print total;}'
16
36
]# echo -e '1 3 5 7\n2 4 6 8' | awk '{for(i=1;i<=NF;i++)total=total+$i;}END{print total}'
36
]#
其他
- break
- continue
- exit
awk 關(guān)聯(lián)數(shù)組
引用數(shù)組元素
BEGIN{
x=item[55];
item[101]="test_101"
if ( 55 in item )
{
print "if_01>>>"item[55]
}
if ( 101 in item )
{
print "if_02>>>"item[101]
}
if ( 1000 in item )
{
print "if_03>>>"item[1000]
}
}
循環(huán)遍歷數(shù)組
for ( var in arrayname )
actions
刪除數(shù)組元素
delete arrayname[index];
其他 awk 命令
printf 格式化輸出
printf "%s, %s\n",
3
printf "%s, %s\n",
| 格式化字符 | 描述 |
|---|---|
| s | 字符串 |
| c | 單個字符 |
| d | 數(shù)值 |
| e | 指數(shù) |
| f | 浮點數(shù) |
| g | 根據(jù)值決定使用 e 或 f 中較短的輸出 |
| o | 八進(jìn)制 |
| x | 十六進(jìn)制 |
| % | 百分號 |
awk 內(nèi)置數(shù)值函數(shù)
- int(n) 取整數(shù)
- log(n) 取對數(shù)
- sqrt(n) 取正平方根
- exp(n) 取 e 的 n 次冪
- sin(n) 取 n 的正弦值
- cos(n) 取 n 的余弦值
隨機(jī)數(shù)生成器
rand() 產(chǎn)生 0-1 之間的隨機(jī)數(shù)
# 產(chǎn)生10個 0-100 之間的隨機(jī)正整數(shù)
awk 'BEGIN{ while(i<10){print int(rand()*100);i++; } }'
srand(n) 產(chǎn)生 n 開始的隨機(jī)數(shù)
常見字符串函數(shù)
-
index(str, substr)
substr 在 str 的第幾個位置(1開始)帆阳，如果不存在，返回 0
length(str) str字符串的長度
split(input_str, output_array, separator)
-
substr(input_str, index, length)
從 input_str 的 index 位置開始取 length 長的字符串
雙向管道
awk 可以使用 |& 和外部進(jìn)程通信屋吨，這個過程是雙向的蜒谤。
BEGIN {
command = "sed 's/Awk/Sed and Awk/'"
print "Awk is Great!" |& command
close(command,"to");
command |& getline tmp
print tmp;
close(command);
}
系統(tǒng)函數(shù)
system(command)
]# awk 'BEGIN{ system("date") }'
Tue Dec 24 20:11:42 CST 2019
getline 命令
執(zhí)行完 getline 命令，會直接讀取下一行數(shù)據(jù)至扰。
會重置 NF NR FNR $0 等內(nèi)置變量
# 打印偶數(shù)行(注: 最后一行也會被打印)
awk '{ getline;print $0; }' items.txt
# 保存在 temp
awk '{ getline temp;print temp; }' items.txt
awk '{ getline temp;print "奇數(shù)",$0;print "偶數(shù)",temp; }' items.txt
# 從其他文件 getline
# 兩個文件內(nèi)容交替打印
awk '{ print $0;getline < "digit.txt";print $0;}' items.txt
# 等價于保存到變量打印
awk '{ print $0;getline tmp < "digit.txt";print tmp;}' items.txt
