一谨垃，awk簡(jiǎn)介

awk,文本處理三劍客之一泡垃，它的名稱得自于它的三個(gè)創(chuàng)始人Alfred Aho 努释、Peter Weinberger 和 Brian Kernighan 的姓氏的首字母苫耸。

又有多種版本： NEW awk (nawk) , GNU awk (gawk）。一般在linux中awk所指的就是gwk杉武。

（1）基本用法

awk [options] ‘program’ var=value file…? ? #語法：awk +選項(xiàng)+程序

awk [options] -f programfile var=value file…? ? # -f調(diào)用文件

awk [options]? 'BEGIN{ action;… } pattern{ action;… } END{ action;… }'? file ...

awk 程序通常由：BEGIN語句塊辙诞、能夠使用模式匹配的通用語句塊、END語句塊轻抱，共3部 分組成?

program通常是被單引號(hào)或雙引號(hào)中? ? ? ? ? ? #建議使用單引號(hào)

選項(xiàng)：

-F 指明輸入時(shí)用到的字段分隔符

-v var=value: 自定義變量

（2）語法

基本格式：

awk [options] 'program' file…

program:pattern{action statements;..}

pattern和action：? ? ? ? ?

? pattern部分決定動(dòng)作語句何時(shí)觸發(fā)及觸發(fā)事件

BEGIN,END? ? ? ?

? action statements對(duì)數(shù)據(jù)進(jìn)行處理飞涂，放在{}內(nèi)指明

print, printf? ? ? ? ? ? ? ? ? ? ? ? ? ? #用于打印顯示

分割符、域和記錄:

awk執(zhí)行時(shí)祈搜，由分隔符分隔的字段（域）標(biāo)記$1,$2..$n稱 為域標(biāo)識(shí)较店。

$0為所有域，注意：和shell中變量$符含義不同

文件的每一行稱為記錄

省略action容燕，則默認(rèn)執(zhí)行 print $0 的操作

二梁呈，awk的工作原理

第一步：執(zhí)行BEGIN{action;… }語句塊中的語句? ? ? ? ? #BEGIN通常用于打印表頭。

第二步：從文件或標(biāo)準(zhǔn)輸入(stdin)讀取一行蘸秘，然后執(zhí)行pattern{ action;… }語句塊官卡，它逐行掃描文件，從第一行到最后一行重復(fù)這 個(gè)過程醋虏，直到文件全部被讀取完畢寻咒。

第三步：當(dāng)讀至輸入流末尾時(shí)，執(zhí)行END{action;…}語句塊? ? #END經(jīng)常用于匯總灰粮。

BEGIN語句塊在awk開始從輸入流中讀取行之前被執(zhí)行仔涩，這是一個(gè) 可選的語句塊，比如變量初始化粘舟、打印輸出表格的表頭等語句通常 可以寫在BEGIN語句塊中

END語句塊在awk從輸入流中讀取完所有的行之后即被執(zhí)行熔脂，比如 打印所有行的分析結(jié)果這類信息匯總都是在END語句塊中完成，它也是一個(gè)可選語句塊

pattern語句塊中的通用命令是最重要的部分柑肴，也是可選的霞揉。如果 沒有提供pattern語句塊，則默認(rèn)執(zhí)行{ print $0 }晰骑，即打印每一個(gè)讀取到的行适秩，awk讀取的每一行都會(huì)執(zhí)行該語句塊

三，變量

awk的變量分兩種：內(nèi)置和自定義變量

（1）硕舆，F(xiàn)S：輸入字段分隔符秽荞，默認(rèn)為空白字符

awk -v FS=':'? '{print $1,FS,$3}’ /etc/passwd

awk? –F:? '{print $1,$3,$7}’ /etc/passwd

（2），OFS：輸出字段分隔符抚官，默認(rèn)為空白字符

awk? -v FS=‘:’? -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd

（3）RS：輸入記錄分隔符扬跋，指定輸入時(shí)的換行符

? ? ? awk -v RS=' ' ‘{print }’ /etc/passwd

（4） ORS：輸出記錄分隔符，輸出時(shí)用指定符號(hào)代替換行符

? ? ? ? awk -v RS=' ' -v ORS='###'‘{print }’ /etc/passwd

（5）NF：字段數(shù)量

? ? ? ? awk? -F： ‘{print NF}’ /etc/fstab,引用內(nèi)置變量不用$

? ? ? ? awk? -F:? '{print $(NF-1)}'? /etc/passwd? ? #NF-1 為查看倒數(shù)第一個(gè)字段凌节。

(6)NR：記錄號(hào)

awk '{print NR}'? /etc/fstab

awk END'{print NR}'? /etc/fstab

（7）FNR：各文件分別計(jì)數(shù),記錄號(hào)

awk -v FS=: '{print FNR,$1}' /etc/passwd /etc/group

FILENAME：當(dāng)前文件名

awk -v FS=: '{print FNR,FILENAME,$1}' /etc/passwd /etc/group

ARGC：命令行參數(shù)的個(gè)數(shù)

awk '{print ARGC}’? /etc/fstab /etc/inittab

awk ‘BEGIN {print ARGC}’? /etc/fstab /etc/inittab

(8)ARGV：數(shù)組钦听，保存的是命令行所給定的各參數(shù)

awk ‘BEGIN {print ARGV[0]}’? /etc/fstab /etc/inittab? ? #下標(biāo)為0的為第一個(gè)參數(shù)

般認(rèn)為命令之后的項(xiàng)目都是參數(shù)洒试，但awk認(rèn)為awk自身也是一個(gè)參數(shù)

awk ‘BEGIN {print ARGV[1]}’? /etc/fstab /etc/inittab? ? ? #下標(biāo)為1的為第二個(gè)參數(shù)

（9）awk的自定義變量

? ? ? ? awk的自定義變量（區(qū)分字符大小寫）

? ? ? ? ? 兩種定義方式

? ? ? ? ? ? （1）-v var=value

? ? ? ? ? ? ? ? (2) 在program中直接定義

示例：1,? ? awk -v var1="hello,awk" 'BEGIN{print var1}'

2,? ? ? awk 'BEGIN{var1="hello";print var1}'

3,? ? awk -F: '{sex="male";print $1,sex,age;age=18}' /etc/passwd

print格式

要點(diǎn)：

(1) 逗號(hào)分隔符

(2) 輸出的各item可以字符串，也可以是數(shù)值朴上；當(dāng)前記錄的字段垒棋、 變量或awk的表達(dá)式

(3) 如省略item，相當(dāng)于print $0

示例：awk '{print "hello,awk"}'

awk –F: '{print}' /etc/passwd

awk –F: ‘{print “wang”}’ /etc/passwd

awk –F: ‘{print $1}’ /etc/passwd

awk –F: ‘{print $0}’ /etc/passwd

awk –F: ‘{print $1”\t”$3}’ /etc/passwd

tail –3 /etc/fstab |awk ‘{print $2,$4}’ #awk自動(dòng)理解文件的分隔符

printf命令

格式化輸出：printf “FORMAT”, item1, item2, ...

(1) 必須指定FORMAT

(2) 不會(huì)自動(dòng)換行痪宰，需要顯式給出換行控制符叼架，\n

(3) FORMAT中需要分別為后面每個(gè)item指定格式符

格式符：與item一一對(duì)應(yīng)

%c: 顯示字符的ASCII碼

%d, %i: 顯示十進(jìn)制整數(shù)

%e, %E:顯示科學(xué)計(jì)數(shù)法數(shù)值

%f：顯示為浮點(diǎn)數(shù)

%g, %G：以科學(xué)計(jì)數(shù)法或浮點(diǎn)形式顯示數(shù)值

%s：顯示字符串

%u：無符號(hào)整數(shù)

%%: 顯示%自身

修飾符：

#[.#]：第一個(gè)數(shù)字控制顯示的寬度；第二個(gè)#表示小數(shù)點(diǎn)后精度衣撬，%3.1f

-: 左對(duì)齊（默認(rèn)右對(duì)齊） %-15s

+：顯示數(shù)值的正負(fù)符號(hào) %+d

示例：awk -F: 'BEGIN{print"user? ? ? ? ? ? ? uid"}{printf "%-20s:%10d\n",$1,$3 }' /etc/passwd

注：通常有幾個(gè)百分號(hào)就定義幾個(gè)變量

十碉碉，操作符

? ? （1）算術(shù)操作符

? ? ? ? x+y, x-y, x*y, x/y, x^y, x%y

? ? ? ? ? -x: 轉(zhuǎn)換為負(fù)數(shù)

? ? ? ? ? +x: 轉(zhuǎn)換為數(shù)值

字符串操作符：沒有符號(hào)的操作符，字符串連接

（2）賦值操作符：

? ? =, +=, -=, *=, /=, %=, ^=

? ? ? ++, --

? （3)比較操作符

? ? ? ? ? ? ? ? ==, !=, >, >=, <, <=

? ? ? ? ? 模式匹配符：? （可使用正則表達(dá)式）

? ? ? ? ? ~：左邊是否和右邊匹配包含 !~：是否不匹配

? ? ? ? 示例：

? ? ? ? （1）? awk -F: '$0~/^root/{print $0}' /etc/passwd

? ? ? ? ? ? （2）awk –F: '$0 ~ /root/{print $1}‘? /etc/passwd

? ? ? ? 十一淮韭，邏輯操作符：與&&垢粮，或||，非!

? ? ? awk中的邏輯操作符與或非值表示邏輯關(guān)系靠粪，不像bash中有短路效果

? ? ? 示例：找出/etc/passwd中uuid大于等于1000蜡吧，小于等于1010的用戶打印出來

注：在awk中：如果為0取反就是1，非0的值取反都是0占键，如果為空取反也為1昔善。

通常在awk中0代表為假 ，1代表為真畔乙。

示例：

? ? ? ? ? ?

函數(shù)調(diào)用： function_name(argu1, argu2, ...)

條件表達(dá)式（三目表達(dá)式）：

selector?if-true-expression:if-false-expression

示例

awk -F: '{$3>=1000?usertype="Common User":usertype="Sysadmin or SysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd

十二君仆，awk PATTERN

PATTERN:根據(jù)pattern條件，過濾匹配的行牲距，再做處理

(1)如果未指定：空模式返咱，匹配每一行

(2) /regular expression/：僅處理能夠模式匹配到的行，需要用/ /括起來

awk '/^UUID/{print $1}' /etc/fstab #打印行首為UUID行的第一條屬性

awk '!/^UUID/{print $1}' /etc/fstab #打印行首不是UUID的第一條屬性

(3) relational expression: 關(guān)系表達(dá)式牍鞠，結(jié)果為“真”才會(huì)被處理

真：結(jié)果為非0值咖摹，非空字符串

假：結(jié)果為空字符串或0值

示例 awk -F: 'i=!i{print NR,$0,i}' /etc/passwd

解析：#打印奇數(shù)行加行號(hào)和當(dāng)時(shí)的i的值

#首次循環(huán)中，i的初始值為空难述，那么!i不為空萤晴，所以打印后續(xù)動(dòng)作

#第二輪循環(huán)，i值初始值不為空胁后，!i為空店读，跳過后續(xù)動(dòng)作

示例2：awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd

（4）line ranges：行范圍

startline,endline：/pat1/,/pat2/ 不支持直接給出數(shù)字

格式

awk -F: ‘/^root>/,/^nobody>/{print $1}' /etc/passwd

awk -F: ‘(NR>=10&&NR<=20){print NR,$1}' /etc/passwd

(5) BEGIN/END模式? BEGIN{}: 僅在開始處理文件中的文本之前執(zhí)行一次? END{}：僅在文本處理完成之后執(zhí)行一次

示例：

十三，awk action

常用的action分類

? (1) Expressions:算術(shù)攀芯，比較表達(dá)式等

? (2) Control statements：if, while等

? (3) Compound statements：組合語句

? (4) input statements

? (5) output statements：print等

十四屯断，awk控制語句

主要的控制語句：

{ statements;… } 組合語句

if(condition) {statements;…} 條件判斷語句

if(condition) {statements;…} else {statements;…}

while(conditon) {statments;…} 循環(huán)語句

do {statements;…} while(condition)

for(expr1;expr2;expr3) {statements;…}

break

continue

delete array[index] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?#支持?jǐn)?shù)組

delete array ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?#刪除數(shù)組元素

exit

(1)awk控制語句if-else

語法：

if(condition){statement;…}[else statement]

if(condition1){statement1}else if(condition2){statement2} else{statement3}使用場(chǎng)景：對(duì)awk取得的整行或某個(gè)字段做條件判斷

示例

注：如果存在多條語句必須使用花括號(hào)括起來。

while循環(huán)

語法：

while(condition){statement;…}

條件“真”，進(jìn)入循環(huán)裹纳；條件“假”，退出循環(huán)

使用場(chǎng)景：

對(duì)一行內(nèi)的多個(gè)字段逐一類似處理時(shí)使用

對(duì)數(shù)組中的各元素逐一處理時(shí)使用

示例：

do-while循環(huán)

語法：do {statement;…}while(condition)

意義：無論真假紧武，至少執(zhí)行一次循環(huán)體

示例

和上圖用法相同此用法以及很少使用剃氧。

for循環(huán)

語法：

for(expr1;expr2;expr3) {statement;…}

常見用法：

for(variable assignment;condition;iteration process)

{for-body}

特殊用法：

能夠遍歷數(shù)組中的元素

語法：for(var in array) {for-body}

示例：

bash awk性能比較

分別用shell，awk阻星，bc計(jì)算1到1000000之間所有數(shù)字之和比較消耗時(shí)間

awk表現(xiàn)：

shell表現(xiàn)：

bc表現(xiàn)：

總和上述測(cè)試awk性能最優(yōu)朋鞍，bc次之，shell最差妥箕。

swich語句

swich語句作用類似bash中的case語句

語法：switch(expression) {case VALUE1 or /REGEXP/: statement1; case VALUE2 or /REGEXP2/: statement2; ...; default: statementn}

break和continue

與bash類似awk語句中break和continue同樣支持指定跳過第幾層循環(huán)

break [n]

continue [n]

next: 提前結(jié)束對(duì)本行處理而直接進(jìn)入下一行處理（awk自身循環(huán)）

awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd

十五滥酥，awk數(shù)組

關(guān)聯(lián)數(shù)組：array[index-expression]

index-expression: 數(shù)組索引、下標(biāo)

(1) 可使用任意字符串畦幢；字符串要使用雙引號(hào)括起來

(2) 如果某數(shù)組元素事先不存在坎吻，在引用時(shí)，awk會(huì)自動(dòng)創(chuàng)建 此元素宇葱，并將其值初始化為“空串”

若要判斷數(shù)組中是否存在某元素瘦真，要使用“index in array”格式進(jìn)行遍歷

若要遍歷數(shù)組中的每個(gè)元素，要使用for循環(huán)

for(var in array) {for-body}

注意：var會(huì)遍歷array的每個(gè)索引

? ?利用數(shù)組去除重復(fù)的行

遍歷數(shù)組黍瞧。

統(tǒng)計(jì)IP訪問次數(shù)诸尽。

統(tǒng)計(jì)連接狀態(tài)

統(tǒng)計(jì)訪問次數(shù)大于10000的用戶 將其拒絕訪問 加入防火墻。（利用腳本實(shí)現(xiàn)）

統(tǒng)計(jì)ip地址連接次數(shù)排在前十個(gè)的

head默認(rèn)為前十個(gè)

在一篇文章中統(tǒng)計(jì)每個(gè)單詞出現(xiàn)的次數(shù)

awk '{for(i=1;i<=NF;i++){word[$i]++}}END{for(j in word){print j,word[j]}}' /etc/rc.sysinit

求男女平均分：

數(shù)組寫法

變量寫法：

十六印颤，awk函數(shù)

內(nèi)置函數(shù)

數(shù)值處理：

rand()：返回0和1之間一個(gè)隨機(jī)數(shù)

字符串處理：

length([s])：返回指定字符串的長度

sub(r,s,[t])：對(duì)t字符串進(jìn)行搜索r表示的模式匹配的內(nèi)容您机，并將第一個(gè)匹 配的內(nèi)容替換為s

echo "2008:08:08 08:08:08" | awk 'sub(/:/,“-",$1)'

gsub(r,s,[t])：對(duì)t字符串進(jìn)行搜索r表示的模式匹配的內(nèi)容,并全部替換 為s所表示的內(nèi)容

echo "2008:08:08 08:08:08" | awk ‘gsub(/:/,“-",$0)'

split(s,array,[r])：以r為分隔符，切割字符串s年局，并將切割后的結(jié)果保存 至array所表示的數(shù)組中际看，第一個(gè)索引值為1,第二個(gè)索引值為2,…

利用split函數(shù)實(shí)現(xiàn)總結(jié)連接數(shù)

自定義函數(shù)

格式：

?function name ( parameter, parameter, ... ) {?

?????????????statements?

?????????????return expression?

?????????????????????????????????}?

?示例： cat fun.awk

?????function max(v1,v2) {?

?????????????????v1>v2?var=v1:var=v2 ? ? ?#三目表達(dá)式如果vi>v2那么var=vi，否則var=v2 也就是比較兩個(gè)數(shù)字的最大值

?????????????????????????????return var?

?????????????????????????????????????????}?

? ? ? ?BEGIN{a=3;b=2;print max(a,b)} ? ? ?? #調(diào)用時(shí)需要給變量a矢否，b賦值

?????????????????????????????????????awk –f fun.awk

awk中調(diào)用shell命令

system命令

空格是awk中的字符串連接符仿村，如果system中需要使用awk中的變量可以使用

空格分隔，或者說除了awk的變量外其他一律用""引用起來兴喂。

?awk BEGIN'{system("hostname") }'?

?awk 'BEGIN{score=100; system("echo your score is " score) }'

十七蔼囊，awk腳本

將awk程序?qū)懗赡_本，直接調(diào)用或執(zhí)行

示例：

第一種方法將語句awk [options] 'program' file… 中的program寫成腳本讓后調(diào)用

第二中方法將整個(gè)語句寫成腳本衣迷，加執(zhí)行權(quán)限以后指定字段分割符直接用

向awk腳本傳遞參數(shù)

格式/：awkfile var=value var2=value2... Inputfile

注意：在BEGIN過程中不可用畏鼓。直到首行輸入完成以后，變量才可用壶谒≡平茫可以通 過-v 參數(shù)，讓awk在執(zhí)行BEGIN之前得到變量的值汗菜。命令行中每一個(gè)指定的變 量都需要一個(gè)-v參數(shù)

示例：

完結(jié)让禀，個(gè)人學(xué)習(xí)筆記挑社，