awk命令的基本使用
[root@shellscript ~]# head -n 3 /etc/passwd | tail -n 1 | awk -F: '{print $1}'
daemon
[root@shellscript ~]# head -n 3 /etc/passwd | tail -n 1 | awk -F: '{print $1,$6,$7}'
daemon /sbin /sbin/nologin
-F 指定行分隔符，默認(rèn)不寫泪喊，以空白字符分隔
[root@shellscript ~]# cat /tmp/1.txt | awk '{print $2,$6}'
linux zabbix
顯示eth0網(wǎng)卡的IP地址
[root@shellscript ~]# ifconfig eth0 | grep "broadcast" | awk '{print $2}'
192.168.122.105
顯示vda磁盤相關(guān)的分區(qū)名稱棕硫、總大小、掛載點(diǎn)目錄
[root@shellscript ~]# df -hT | grep "vda" | awk '{print $1,$3,$7}'
/dev/vda1 512M /boot
=============================================================================================================
Linux處理文本工具：
grep： 過濾文本內(nèi)容
sed：? 編輯文本內(nèi)容
awk ? 顯示文本
awk:Aho,Kernighan and Weinberger
報(bào)告生成器袒啼，以特定的條件查找文本內(nèi)容纬纪，再以特定的格式顯示出來
awk命令的格式：
# awk [option] 'script' file1 file2 ...
# awk [option] 'PATTERN{action}' file1 file2 ...
PATTERN：
用文本字符與正則表達(dá)式元字符描述的條件,可以省略不寫
action：
printf 指定輸出項(xiàng)的格式赦邻；格式必須寫
option選項(xiàng)：
-F 指定文本分割符
awk處理文本機(jī)制：
awk將符合PATTERN的文本逐行取出恬吕，并按照指定的分割符(默認(rèn)為空白,
通過-F選項(xiàng)可以指定分割符)進(jìn)行分割，然后將分割后的每段按照特定的格式輸出
awk的輸出：
一篓跛、print
print的使用格式：
print item1,item2,....
注意：
1沐寺、各項(xiàng)目間使用逗號(hào)分隔開拔第，而輸出時(shí)以空白字符作為分隔
2、輸出的item可以為字符串、數(shù)值埋心、當(dāng)前的記錄的字段($1)、變量或者awk的表達(dá)式茬斧；數(shù)值會(huì)先轉(zhuǎn)換成字符串项秉，然后輸出
3绣溜、print命令后面的item可以省略，此時(shí)其功能相當(dāng)于print $0($0代表未分割的整行文本內(nèi)容),因此,如果想輸出空白行娄蔼，則需要使用print "";
以空白分割怖喻，顯示文本中的第1段及第2段內(nèi)容
# awk '{print $1,$2}' test.txt
this is
[root@shell ~]# df -hT | sed '1d' | awk '{print "Disk name: ", $1,"Mount Point: ", $7, "Total Size: ", $3, "Free size ", $5}'
示例：
輸出3行內(nèi)容
# awk 'BEGIN{print "line one\nline two\nline three"}'
line one
line two
line three
輸出/etc/passwd中的用戶名及其uid
# awk -F: '{print $1,$3}' /etc/passwd
awk變量
1、awk內(nèi)置變量之記錄變量
FS： 指定讀取文本時(shí)岁诉，所使用的行分隔符,默認(rèn)為空白字符锚沸；相當(dāng)于awk的-F選項(xiàng)
OFS：指定輸出的分隔符，默認(rèn)為空白字符唉侄；
[root@localhost ~]# head -n 1 /etc/passwd | awk -F: '{print $1,$7}'
root /bin/bash
[root@localhost ~]#
[root@localhost ~]# head -n 1 /etc/passwd | awk 'BEGIN{FS=":"}{print $1,$7}'
root /bin/bash
[root@localhost ~]# head -n 1 /etc/passwd | awk -F: '{print $1,$7}'
root /bin/bash
[root@localhost ~]# head -n 1 /etc/passwd | awk -F: 'BEGIN{OFS="---"}{print $1,$7}'
root---/bin/bash
[root@localhost ~]#
RS： 指定讀取文本時(shí)咒吐，所使用的換行符(指定以什么字符作為換行符)；默認(rèn)為換行符
ORS：指定輸出時(shí)所使用的行分隔符
2属划、awk內(nèi)置變量之?dāng)?shù)據(jù)變量
NR：記錄awk所處理的文本的行數(shù)，如果有多個(gè)文件候生，所有文件統(tǒng)一進(jìn)行計(jì)數(shù)
[root@localhost ~]# awk '{print "第",NR,"行內(nèi)容：",$0}' /etc/hosts /etc/issue
第 1 行內(nèi)容： 127.0.0.1? localhost localhost.localdomain localhost4 localhost4.localdomain4
第 2 行內(nèi)容： ::1? ? ? ? localhost localhost.localdomain localhost6 localhost6.localdomain6
第 3 行內(nèi)容： CentOS release 6.6 (Final)
第 4 行內(nèi)容： Kernel \r on an \m
第 5 行內(nèi)容：
注意：
print在顯示變量值時(shí)同眯，不需要使用$
FNR：記錄awk正在處理的文件的行數(shù),如果有多個(gè)文件，每個(gè)文件分別進(jìn)行計(jì)數(shù)
[root@localhost ~]# awk '{print "第",FNR,"行內(nèi)容：",$0}' /etc/hosts /etc/issue
第 1 行內(nèi)容： 127.0.0.1? localhost localhost.localdomain localhost4 localhost4.localdomain4
第 2 行內(nèi)容： ::1? ? ? ? localhost localhost.localdomain localhost6 localhost6.localdomain6
第 1 行內(nèi)容： CentOS release 6.6 (Final)
第 2 行內(nèi)容： Kernel \r on an \m
第 3 行內(nèi)容：
NF：記錄awk正在處理的當(dāng)前行被分隔成了幾個(gè)字段
# cat test.txt
this is a test.
# awk '{print NF}' test.txt
4
# awk '{print $NF}' test.txt
test.
[root@localhost ~]# awk -F: '{print "Number of line: ", NF}' /etc/passwd
[root@shell ~]# awk -F. '{print "Number of Line: ", NF}' /etc/hosts
[root@shell ~]# awk 'BEGIN{FS="."}{print "Number of Line: ", NF}' /etc/hosts
Number of Line:? 6
Number of Line:? 3
Number of Line:? 6
3唯鸭、用戶自定義的變量
awk允許用戶自定義變量须蜗，變量名稱不能以數(shù)字開頭，且區(qū)分大小寫
示例：
方法1：使用-v選項(xiàng)
[root@localhost ~]# head -n 3 /etc/passwd | awk -v test="hello" -F: '{print test, $1}'
hello root
hello bin
hello daemon
方法2：在BEGIN{}模式中定義變量
[root@localhost ~]# head -n 3 /etc/passwd | awk -F: 'BEGIN{test="hello"}{print test, $1}'
hello root
hello bin
hello daemon
[root@localhost ~]#
二目溉、printf明肮，格式化輸出內(nèi)容
格式：
printf format,item1,item2,...
要點(diǎn)：
1、printf輸出時(shí)要指定格式format
2缭付、format用于指定后面的每個(gè)item輸出的格式
3柿估、printf語句不會(huì)自動(dòng)打印換行符\n
format：
%c：顯示單個(gè)字符
%d,%i：十進(jìn)制整數(shù)
%e,%E：科學(xué)計(jì)數(shù)法顯示數(shù)值
%f：顯示浮點(diǎn)數(shù)
%g,%G：以科學(xué)計(jì)數(shù)法的格式或浮點(diǎn)數(shù)的格式顯示數(shù)值
%s：顯示字符串
%u：無符號(hào)整數(shù)
%%：顯示%自身
修飾符：
N：顯示寬度，N為數(shù)字
-：左對齊陷猫，默認(rèn)為右對齊
+：顯示數(shù)值符號(hào)
示例：
[root@localhost ~]# head -n 3 /etc/passwd | awk -F: '{printf "%-10s%-8s%-20s\n", $1,$6,$7}'
root? ? ? /root? /bin/bash
bin? ? ? /bin? ? /sbin/nologin
daemon? ? /sbin? /sbin/nologin
[root@shell ~]# df -hT | sed '1d' | awk '{printf "%-15s%-10s\n", $1,$7}'
/dev/vda2? ? ? /
tmpfs? ? ? ? ? /dev/shm
/dev/vda1? ? ? /boot
[root@shell ~]#
[root@shell ~]# awk -F: '{printf "%-15s%-10d%-25s%-15s\n",$1,$3,$6,$7}' /etc/passwd
root? ? ? ? ? 0? ? ? ? /root? ? ? ? ? ? ? ? ? ? /bin/bash
bin? ? ? ? ? ? 1? ? ? ? /bin? ? ? ? ? ? ? ? ? ? /sbin/nologin
daemon? ? ? ? 2? ? ? ? /sbin? ? ? ? ? ? ? ? ? ? /sbin/nologin
adm? ? ? ? ? ? 3? ? ? ? /var/adm? ? ? ? ? ? ? ? /sbin/nologin
lp? ? ? ? ? ? 4? ? ? ? /var/spool/lpd? ? ? ? ? /sbin/nologin
[root@node2 ~]# df -hT | sed '1d' | awk '{printf "%-10s%-10s%-12s%-10s%-15s%-6s%-8s%-4s\n","DiskName:", $1, "MountPoint:", $7, "TotalSize:", $3, "Usage:", $6}'
DiskName: /dev/sda3 MountPoint: /? ? ? ? TotalSize:? ? 77G? Usage:? 6%
DiskName: tmpfs? ? MountPoint: /dev/shm? TotalSize:? ? 491M? Usage:? 0%
DiskName: /dev/sda1 MountPoint: /boot? ? TotalSize:? ? 190M? Usage:? 15%
# awk [option] 'PATTERN{action}' file1 file2 ...
action:
printf
options:
-F
-v
PATTERN表示方法：
1秫舌、正則表達(dá)式的妖，格式為/regex/
以冒號(hào)為分隔符，顯示/etc/passwd以r開頭的行的第1段
# awk -F: '/^r/{print $1}' /etc/passwd
root
rpc
rtkit
rpcuser
[root@localhost ~]# awk '/^(r|s)/{print $0}' /etc/passwd
[root@localhost ~]# awk '/^[rs]/{print $0}' /etc/passwd
[root@localhost ~]# ls -l /tmp/ | awk '/^d/{print $9}'
[root@localhost ~]# netstat -antp | awk '/^tcp/{print $0}'
[root@localhost ~]# netstat -antp | sed '1,2d'
2足陨、表達(dá)式嫂粟，由下述操作符組成的表達(dá)式
awk的操作符
1、算術(shù)操作符
-x 負(fù)值
+x 轉(zhuǎn)換為數(shù)值墨缘，正值
x^y,x**y? 次方 2^3
x*y
x/y
x+y
x-y
x%y
2星虹、字符串操作符
+：實(shí)現(xiàn)字符串連接 "ab"+"cd"? ? abcd "ab"+"12" ab12
3、賦值操作符
=
+=? a+=b? a=a+b? a+=2 a=a+2
-=
*=
/=
%=
^= x ^= y? ? x^y
**=
++ x++ x=x+1
--
4镊讼、比較操作符
x < y
x <= y
x > y
x >= y
x == y
x != y
x ~ y：x為字符串,y為模式宽涌，如果x可以被模式匹配則為真，否則為假 "abc" ~ ^a
x !~ y
5狠毯、邏輯關(guān)系符
&&
||
顯示uid大于等于500的用戶名及uid
# awk -F: '$3>=500{print $1,$3}' /etc/passwd
nfsnobody 65534
wjc 500
顯示默認(rèn)shell為/bin/bash的用戶名及shell名稱
# awk -F: '$7=="/bin/bash"{print $1,$7}' /etc/passwd
或
# awk -F: '$7 ~ "bash$"{print $1,$7}' /etc/passwd
root /bin/bash
mysql /bin/bash
wjc /bin/bash
[root@node2 ~]# netstat -antp | awk '$6=="ESTABLISHED"{print $0}'
tcp? ? ? ? 0? ? 52 192.168.87.102:22? ? ? ? ? 192.168.87.1:49541? ? ? ? ? ESTABLISHED 1940/sshd
tcp? ? ? ? 0? ? ? 0 192.168.87.102:22? ? ? ? ? 192.168.87.1:49650? ? ? ? ? ESTABLISHED 2135/sshd
[root@node2 ~]#
[root@localhost ~]# df -hT | awk '+$6>10{print $1,$NF}'
/dev/sda1 /boot
/dev/sr0 /mnt
3护糖、指定范圍，格式為pattern1,pattern2
以冒號(hào)為分隔符嚼松，顯示uid=0到最后一個(gè)字段為nologin結(jié)尾中間所有行的用戶名嫡良，uid及shell
# awk -F: '$3==0,$7 ~ "nologin$"{print $1,$3,$7}' /etc/passwd
root 0 /bin/bash
bin 1 /sbin/nologin
格式化輸出樣例
# awk -F: '$3==0,$7 ~ "nologin$"{printf "%-10s%-10s%-20s\n",$1,$3,$7}' /etc/passwd
root? ? ? 0? ? ? ? /bin/bash
bin? ? ? 1? ? ? ? /sbin/nologin
4、BEGIN/END献酗，特殊模式
BEGIN表示awk進(jìn)行處理前執(zhí)行一次操作
END表示awk處理完最后一行結(jié)束前執(zhí)行一次操作
使用BEGIN打印表頭
# awk -F: 'BEGIN{printf "%-10s%-10s%-20s\n","Username","Uid","Shell"}$3==0,$7 ~ "nologin$"{printf "%-10s%-10s%-10s\n",$1,$3,$7}' /etc/passwd
Username? Uid? ? ? Shell
root? ? ? 0? ? ? ? /bin/bash
bin? ? ? 1? ? ? ? /sbin/nologin
使用END打印表尾
# awk -F: 'BEGIN{printf "%-10s%-10s%-20s\n","Username","Uid","Shell"}$3==0,$7 ~ "nologin$"{printf "%-10s%-10s%-10s\n",$1,$3,$7}END{print "END OF File..."}' /etc/passwd
Username? Uid? ? ? Shell
root? ? ? 0? ? ? ? /bin/bash
bin? ? ? 1? ? ? ? /sbin/nologin
END OF File...
# awk [option] 'PATTERN{action}' file1 file2 ...
邏輯控制語句
1寝受、if...else
格式：
if(條件) {語句; 語句} else {語句1; 語句2}
如果statement只有一條語句，{}可以不寫
[root@localhost ~]# awk -F: '{if($3==0){print $1,"is administrator."}}' /etc/passwd
以冒號(hào)為分隔符罕偎，判斷第1個(gè)字段很澄，如果為root，則顯示用戶名 Admin,否則顯示用戶名 Common User
# awk -F: '{if ($1=="root") print $1,"Admin";else print $1,"Common User"}' /etc/passwd
root Admin
bin Common User
daemon Common User
adm Common User
lp Common User
sync Common User
shutdown Common User
格式化輸出
# awk -F: '{if ($1=="root") printf "%-15s: %-15s\n",$1,"Admin";else printf "%-15s: %-15s\n",$1,"Common User"}' /etc/passwd
root? ? ? ? ? : Admin
bin? ? ? ? ? ? : Common User
daemon? ? ? ? : Common User
adm? ? ? ? ? ? : Common User
lp? ? ? ? ? ? : Common User
sync? ? ? ? ? : Common User
shutdown? ? ? : Common User
halt? ? ? ? ? : Common User
統(tǒng)計(jì)系統(tǒng)用戶個(gè)數(shù)
[root@localhost ~]# awk -F: '{if($3>0 && $3<500){count++;print $1}}END{print count}' /etc/passwd
[root@shell ~]# awk -v count=0 -F: '{if($3<=500){print $1;count++}}END{print "系統(tǒng)用戶數(shù)量：",count}' /etc/passwd
[root@shell ~]# awk -F: 'BEGIN{count=0}{if($3<=500){print $1;count++}}END{print "系統(tǒng)用戶數(shù)量：",count}' /etc/passwd
統(tǒng)計(jì)uid大于50的用戶個(gè)數(shù)
# awk -F: -v sum=0 '{if ($3>50) sum++}END{print "The number of user: ",sum}' /etc/passwd
The number of user:? 16
取出磁盤使用率大于10%的
# df -h | sed '1d' | awk '{if (+$5>10) {print $0}}'
/dev/sda1? ? ? ? ? ? 194M? 26M? 158M? 15% /boot
/dev/sr0? ? ? ? ? ? ? 2.9G? 2.9G? ? 0 100% /mnt
[root@localhost ~]# awk -F: '{if($3==0){print $1}else{print $7}}' /etc/passwd
[root@localhost ~]# awk -F: '{if($3==0){count++}else{i++}}END{print "管理用戶個(gè)數(shù)：",count,"普通用戶個(gè)數(shù)：",i}' /etc/passwd
[root@localhost ~]# awk -F: '/bash$/ || /nologin$/{if($7=="/bin/bash"){i++} else{j++}}END{print "bash用戶數(shù)量：",i, "nologin用戶數(shù)量：",j}' /etc/passwd
bash用戶數(shù)量： 38 nologin用戶數(shù)量： 28
2颜及、while
格式：
while(條件) {語句１;語句2;.........}
以冒號(hào)為分隔符甩苛，判斷每一行的每一個(gè)字段的長度如果大于4，則顯示之
# awk -F: '{i=1;while (i<=7) {if (length($i)>=4) {print $i};i++}}' /etc/passwd
統(tǒng)計(jì)test.txt文件中長度大小5的單詞
[root@localhost ~]# awk '{i=1; while(i<=NF) {if(length($i)>5) {print $i};i++}}' test.txt
3俏站、for 遍歷數(shù)組
格式：
for(變量定義; 循環(huán)終止的條件; 改變循環(huán)條件的語句) {語句讯蒲；語句；....}
for (i=1;i<=4;i++) { ... }
以冒號(hào)為分隔符肄扎，顯示/etc/passwd每一行的前3個(gè)字段
# awk -F: '{for (i=1;i<=3;i++) {print $i}}' /etc/passwd
root
x
0
bin
x
1
4墨林、break continue
用于中斷循環(huán)
awk中使用數(shù)組
數(shù)組
array[index-expression]
數(shù)組下標(biāo)從1開始，也可以使用字符串作為數(shù)組下標(biāo)
index-expression可以使用任意字符串犯祠。
需要注意的是旭等，如果某數(shù)組元素事先不存在，那么在引用其時(shí)衡载，awk會(huì)自動(dòng)創(chuàng)建此元素并初始化為0搔耕；因此，要判斷某數(shù)組中是否存在某元素月劈，需要使用index in array的方式
要遍歷數(shù)組中每一個(gè)元素度迂，需要使用如下的特殊結(jié)構(gòu)：
for(變量 in 數(shù)組名稱){print 數(shù)組名稱[下標(biāo)]}
其中藤乙，var是數(shù)組下標(biāo)
統(tǒng)計(jì)每個(gè)shell的使用個(gè)數(shù)
# awk -F: '{shell[$NF]++}END{for(A in shell) {print A,shell[A]}}' /etc/passwd
/bin/sync 1
/bin/bash 3
/sbin/nologin 31
/sbin/halt 1
/sbin/shutdown 1
[root@localhost ~]# awk -F: '{shells[$7]++}END{for(sh in shells){print sh,shells[sh]}}' /etc/passwd | sort -k2
{shell[$NF]}:以每行的最后的shell名稱為下標(biāo)，為數(shù)組元素shell[$NF]賦初始值1惭墓，如果遇到相同的shell坛梁，則該值遞增1
A：代表數(shù)組的下標(biāo)
print A：顯示數(shù)組下標(biāo)
print shell[A]：顯示此下標(biāo)對應(yīng)的數(shù)組值，也就是個(gè)數(shù)
統(tǒng)計(jì)每個(gè)狀態(tài)的tcp連接的個(gè)數(shù)
# netstat -ant | sed '1,2d' | awk '{array[$NF]++}END{for(A in array) {print A,array[A]}}'
LISTEN 13
ESTABLISHED 1
或者
# netstat -ant | awk '/^tcp/{state[$NF]++}END{for(A in state) {print A,state[A]}}'
LISTEN 13
ESTABLISHED 1
統(tǒng)計(jì)某一天的訪問量
[root@localhost ~]# grep "04/Nov/2016" /var/log/httpd/access_log | wc -l
47721
統(tǒng)計(jì)/var/log/httpd/access_log每個(gè)IP的訪問次數(shù)（UV）
[root@localhost ~]# grep "08/Mar/2017" /var/log/httpd/access_log | awk '{count[$1]++}END{for(ip in count) {print ip,count[ip]}}' | sort -n -k2 -r
統(tǒng)計(jì)PV
[root@localhost ~]# grep "08/Mar/2017" /var/log/httpd/access_log | awk '{count[$7]++}END{for(ip in count) {print ip,count[ip]}}' | sort -n -k2 -r
格式化輸出：
# awk 'BEGIN{printf "%-20s%-20s\n","IP Address","Access Count"}{count[$1]++}END{for(ip in count) {printf "%-20s%-20s\n",ip,count[ip]}}' /var/log/httpd/access_log
IP Address? ? ? ? ? Access Count
10.1.1.100? ? ? ? ? 53
awk的內(nèi)置函數(shù)
int()：返回整數(shù)
[root@localhost ~]# awk 'BEGIN{print int(12.9)}'
12
index()：返回字符所在字符串中的位置
[root@localhost ~]# awk 'BEGIN{print index("abcd","b")}'
2
split(string,array [,filedsep [,seps]])
將string表示的字符串以fileldsep為分隔符進(jìn)行分割腊凶，并將分隔后的結(jié)果保存至數(shù)據(jù)array中划咐；數(shù)組下標(biāo)從１開始
[root@shell ~]# awk 'BEGIN{str="This is a test"; split(str,testarray,"is");print testarray[1]}'
Th
length(string)
返回string字符串的字符個(gè)數(shù)
[root@localhost ~]# awk 'BEGIN{str="hello world"; print length(str)}'
11
[root@localhost ~]# awk -F: '{if(length($1)==4){count++;print $1}}END{print "用戶個(gè)數(shù)：",count}' /etc/passwd
substr(string,start [,length])
取string字符串中的子串，從start開始钧萍，取length個(gè)褐缠；start從1開始計(jì)數(shù)
[root@localhost ~]# awk 'BEGIN{str="this is test"; print substr(str,2,5)}'
his i
match函數(shù)，
檢測str中是否含有"is" 如果有风瘦，則返回"is"第一次出現(xiàn)的位置队魏，如果沒有則返回0
[root@localhost ~]# awk 'BEGIN{str="This is a test"; print match(str,"is")}'
3
tolower(string)
將string中的所有字母轉(zhuǎn)為小寫
[root@localhost ~]# awk 'BEGIN{print tolower("Kello")}'
kello
toupper(string)
將string中所有字母轉(zhuǎn)換為大寫
[root@localhost ~]# awk 'BEGIN{print toupper("hello")}'
HELLO
