目錄:
Ⅰ:正則表達(dá)式
正則就是用一些具有特殊含義的符號(hào)組合到一起(稱為正則表達(dá)式)來(lái)描述字符或者字符串的方法讶坯√呔或者說(shuō):正則就是用來(lái)描述一類事物的規(guī)則批旺。
在linux中,通配符是由shell解釋的的猛,而正則表達(dá)式則是由命令解釋的,三種文本處理工具/命令:grep、sed锻煌、awk
正則介紹:^ 以什么開(kāi)頭(同一行)
$ 以什么結(jié)尾(同一行)
. 除了換行符以外的任意單個(gè)字符
* 緊挨的左邊的第一個(gè)字符出現(xiàn)零個(gè)到無(wú)窮個(gè)
+ 緊挨的左邊的第一個(gè)字符出現(xiàn)1個(gè)到無(wú)窮個(gè)
? 緊挨的左邊的第一個(gè)字符出現(xiàn)0次到1次
.* 所有字符
{n}左邊的左邊的那一個(gè)字符出現(xiàn)n次的
{2,4}左邊的那一個(gè)字符出現(xiàn)2到4個(gè)的(表示范圍的),例如:2 3 4
{2,}左邊的那一個(gè)字符出現(xiàn)2到無(wú)窮個(gè)的(表示范圍的)姻蚓,例如:2 3 4 5..........到無(wú)窮
[] 字符組內(nèi)的任一字符
[^] 對(duì)字符組內(nèi)的每個(gè)字符取反(不匹配字符組內(nèi)的每個(gè)字符)
^[^] 非字符組內(nèi)的字符開(kāi)頭的行
[a-z] a到z的所有小寫(xiě)字母 例如:a b c.....z
[A-Z] A到Z的所有大寫(xiě)字母 例如:A B C ..... Z
[a-Z] a到Z的所有小寫(xiě)和大寫(xiě)字母 例如:a A b B ........z Z
[0-9] 數(shù)字0到9 例如:0 1 2 ....9
\< 單詞頭 單詞一般以空格或特殊字符做分隔,連續(xù)的字符串被當(dāng)做單詞
\> 單詞尾
grep種類:grep fgrep pgrep egrep
-n :顯示行號(hào)
-o :只顯示匹配的內(nèi)容
-q :靜默模式宋梧,沒(méi)有任何輸出,得用$?來(lái)判斷執(zhí)行成功沒(méi)有狰挡,即有沒(méi)有過(guò)濾到想要的內(nèi)容
-l :如果匹配成功捂龄,則只將文件名打印出來(lái)释涛,失敗則不打印,通常-rl一起用跺讯,grep -rl 'root' /etc
-A :如果匹配成功枢贿,則將匹配行及其后n行一起打印出來(lái)
-B :如果匹配成功,則將匹配行及其前n行一起打印出來(lái)
-C :如果匹配成功刀脏,則將匹配行及其前后n行一起打印出來(lái)
--color
-c :如果匹配成功局荚,則將匹配到的行數(shù)打印出來(lái)
-E :等于egrep,擴(kuò)展
-i :忽略大小寫(xiě)
-v :取反愈污,不匹配
-w:匹配單詞
-rl :遞歸尋找并顯示文件名
sed:流編輯器 stream editer,是以行為單位的處理程序
a 后插
c 替換
i 前插
d 刪除
p 打印匹配的行 一般和 -n 參數(shù)連用,以屏蔽默認(rèn)輸出
r 從文件中讀入
w 寫(xiě)入到文件中作業(yè)二:grep作業(yè)(正則表達(dá)式及字符處理)
! 命令取反
{} 命令組合 命令用分號(hào)分隔 {1h;G} 可以理解為 -e 參數(shù)的另一種寫(xiě)法
= 打印行號(hào)(輸入行的號(hào)碼,而非處理的次數(shù)行號(hào))
n 讀入下一行到模式空間
N 而是追加下一行到模式空間耀态,再把當(dāng)前行和下一行同時(shí)應(yīng)用后面的命令
s 字符串替換
awk
-F 可以定義指定分隔符:(冒號(hào))
-v 定義變量并賦值 也可以借用次方式從shell變量中引入
NF表示當(dāng)前以分隔符(:)為分隔單位的行有幾段內(nèi)容
NR 表示行號(hào)
FNR表示讀入行所在文件中的行數(shù)
-v 定義變量并賦值
== 判斷;>=大于等于暂雹;<=小于等于首装;!= 非;>大于杭跪;<小于仙逻; ~ 使用正則定位 ; !~正則取反
&&且
||或
|sort |uniq 配續(xù)去重(排列順序再去除重讀的)
du -sh 統(tǒng)計(jì)文件大小
find / -size +30M 找出大于30M的文件
find / -size +10M -size -30M 找出大于10M小于30M的文件
Ⅱ:作業(yè)
作業(yè)一:grep作業(yè)(正則表達(dá)式及字符處理)
目標(biāo)文件/etc/passwd,使用grep命令或egrep
1.顯示出所有含有root的行:
grep 'root' /etc/passwd
2.輸出任何包含bash的所有行,還要輸出緊接著這行的上下各兩行的內(nèi)容:
grep `bash` -C 2 /etc/passwd
3. 顯示出有多少行含有nologin涧尿。
grep -c 'nologin' /etc/passwd
4.顯示出那些行含有root系奉,并將行號(hào)一塊輸出。
grep -n 'nologin' /etc/passwd
5.顯示出文件中
grep -l 'root' /etc/passwd
6.新建用戶
abominable
abominate
anomie
atomize
編寫(xiě)正則表達(dá)式姑廉,將他們匹配出來(lái)
egrep 'a.omi(nabl|nat|z|)e' /etc/passwd
7.建四個(gè)用戶
Alex213sb
Wpq2222b
yH438PIG
egon666
egon
過(guò)濾出用戶名組成是字母+數(shù)字+字母的行
egrep '^[a-Z]+[0-9]+[a-Z]+' /etc/passwd
8.顯示出/etc目錄下所有包含root的文件名
grep -w 'root' /etc
9. 過(guò)濾掉/etc/ssh/sshd_config內(nèi)所有注釋和所有空行
grep -v '^#' /etc/ssh/sshd_config |grep -v '^ *$'
作業(yè)二:Sed作業(yè):以/etc/passwd文件為模板
1缺亮,刪除文件每行的第一個(gè)字符。
sed -r 's/^(.)(.*)/\2/' /etc/passwd
2桥言,刪除文件每行的第二個(gè)字符萌踱。
sed -r 's/^(.)(.)(.*)/\1\3/' /etc/passwd
3,刪除文件每行的最后一個(gè)字符号阿。
sed -r 's/(.*)(.)$/\1/' /etc/passwd
4并鸵,刪除文件每行的倒數(shù)第二個(gè)字符。
sed -r 's/(.*)(.)(.)$/\1\3/' /etc/passwd
5扔涧,刪除文件每行的第二個(gè)單詞园担。
sed -r 's/^([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/\1\2\4/' /etc/passwd
6,刪除文件每行的倒數(shù)第二個(gè)單詞扰柠。
sed -r 's/([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+)$/\1\3\4/' /etc/passwd
7粉铐,刪除文件每行的最后一個(gè)單詞。
sed -r 's/([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+)$/\1\2\3/' /etc/passwd
8卤档,交換每行的第一個(gè)字符和第二個(gè)字符蝙泼。
sed -r 's/^(.)(.)(.*)/\2\1\3/' /etc/passwd
9,交換每行的第一個(gè)字符和第二個(gè)單詞劝枣。
sed -r 's/^(.)([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/\4\2\3\1\5/' /etc/passwd
10汤踏,交換每行的第一個(gè)單詞和最后一個(gè)單詞织鲸。
sed -r 's/^([a-Z]+)([^a-Z]+)(.*)([^a-Z]+)([a-Z]+)$/\5\2\3\4\1/' /etc/passwd
11,刪除一個(gè)文件中所有的數(shù)字溪胶。
sed -r 's/[0-9]//g' /etc/passwd
12搂擦,刪除每行開(kāi)頭的所有空格。
sed -r 's/^ *//g' /etc/passwd
13哗脖,用制表符替換文件中出現(xiàn)的所有空格瀑踢。
sed -r 's/ /\t/g' /etc/passwd
14,把所有大寫(xiě)字母用括號(hào)()括起來(lái)才避。
sed -r 's/[A-Z]/(&)/g' /etc/passwd
15橱夭,打印每行3次。
sed 'p;p' /etc/passwd
16桑逝,只顯示每行的第一個(gè)單詞棘劣。
sed -r 's/^([a-Z]+)([^a-Z]+)(.*)/\1/' /etc/passwd
17,打印每行的第一個(gè)單詞和第三個(gè)單詞楞遏。
sed -r 's/^([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/\5\2\3\4\1\6/' /etc/passwd
18茬暇,用命令獲取格式為 mm/yy/dd 的日期格式,結(jié)合管道寡喝,將其換成 mm糙俗;yy;dd格式
date | sed -r ' s/ /; /g'
作業(yè)三:awk文本處理
1)打印uid在0~40范圍內(nèi)的用戶名
awk -F: '$3>0 && $3<40{print $1,$3}' passwd
2)打印第5-10行的行號(hào)和用戶名
awk -F: 'NR>=5 && NR<=10{print NR $1}' passwd
3)打印奇數(shù)行
awk '(NR%2){print $0}' passwd
4)打印偶數(shù)行
awk '!(NR%2){print $0}' passwd
5)打印字段數(shù)大于5的行
awk -F: '(NF>3){print $0}' passwd
6)打印UID不等于GID的用戶名
awk -F: '($3 != $4){print $0}' passwd
7)打印沒(méi)有指定shell的用戶
awk -F: '($NF != "/bin/bash"){print $0}' passwd