Linux文本處理

技術(shù)點(diǎn):

1.正則提取

sed 用提取變量替換
sed 's/.*toid\=\([0-9]*\).*/\1/g'

2.查找系統(tǒng)占內(nèi)存最高的10個(gè)程序

按照實(shí)際物理內(nèi)存排序:ps aux --sort=-rss 支持 sort 參數(shù)牧抽,sort 參數(shù) + 表示正序,-表示倒敘 ps aux --sort=-rss,-%cpu 表示先按物理內(nèi)存再按cpu排列

3.查找系統(tǒng)內(nèi)各程序占內(nèi)存最高10個(gè)

上面只能看到各個(gè)進(jìn)程的排序勺择,但有時(shí)候一個(gè)程序可能啟動(dòng)數(shù)十個(gè)進(jìn)程丹弱,這樣子分析起來比較慢了颈将。這里可以先按照 awk程序做過濾后排序輸出,sort記得加上 n 參數(shù)表示按照數(shù)字而不是字符串排序

ps -aux | awk 'NR!=1{a[$11]+=$5;} END {for(item in a) print item " " a[item];}' | sort -rnk2 | head -n 10

4.批量kill進(jìn)程

kill -9 $(ps -aux | grep 'node /usr/local/bin/pm2 l' | grep -v grep | awk '{print $2}')

附錄:

一俗批、sed命令簡介

sed 是流文本編輯器,可以用來做流的替換溶诞、刪除凌箕、匹配等操作拧篮。
sed簡明教程

1. s參數(shù)替換
  • 文檔開頭加注釋: sed 's/^/#/g'
  • 文檔結(jié)尾加封號(hào): sed 's/$/;/g'
2. i參數(shù)回寫修改流

一般 sed 只將數(shù)據(jù)修改輸出,加上 i 參數(shù)可以將改動(dòng)回寫源文件

3. 指定替換范圍

s參數(shù)前面數(shù)字可指定替換行范圍
1,s/pattern//g, 1,2s/pattern//g, ,2s/pattern//g

  • 最后的 g 參數(shù)表示替換行內(nèi)所有匹配項(xiàng)
  • 假若需要替換第一個(gè)匹配 sed 's/s/S/1' my.txt
  • 第二個(gè)及以后的匹配 sed 's/s/S/2g' my.txt
4.圓括號(hào)

patter段里面由括號(hào)括起來的正則表達(dá)式匹配內(nèi)容可以當(dāng)成變量使用牵舱,引用方式: \1 \2 \3

此外還有i a d P N參數(shù)
  • i 在匹配項(xiàng)前面添加替換內(nèi)容
  • a 在匹配項(xiàng)后面添加內(nèi)容
  • d 放在 g 參數(shù)位置串绩,刪除匹配行
  • n 不顯示匹配項(xiàng),可以減少輸出仆葡,減少干擾
  • p g 參數(shù)位置赏参,打印匹配項(xiàng)

二志笼、awk命令簡介

AWK命令非常強(qiáng)大,用來做數(shù)據(jù)統(tǒng)計(jì)把篓,不需要寫編程腳本纫溃,可能awk一行命令就搞定了。

AWK簡明教程

1.內(nèi)建變量

在寫腳本時(shí)可以使用一些程序級(jí)變量

變量名 含義
$0 整行
1 -n 分割后各段的引用
NF 切割后字段數(shù)
NR 當(dāng)前行號(hào)韧掩,處理的第幾行
FS 使用分割符紊浩,默認(rèn)為 tab
RS 記錄分割符,默認(rèn)為換行符
1.過濾匹配行
  • 通過字段邏輯運(yùn)算進(jìn)行布爾過濾
    如:awk '$3==0 && $6=="LISTEN" ' netstat.txt
    中間運(yùn)算符還有:> >= < <= != ~疗锐, '~' 表示包含
  • 輸出時(shí)攜帶表頭:awk '$3==0 && $6=="LISTEN" || NR == 1' netstat.txt
  • 格式化輸出:awk '$3==0 && $6=="LISTEN" || NR==1 {printf "%-20s %-20s %s\n",$4,$5,$6}' netstat.txt
  • 指定分割符: awk -F:坊谁,多個(gè)分割符awk -F '[:,]'

示例:awk '$6 !~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt

2.拆分文件

有點(diǎn)像mysql的group,要根據(jù)第6列不同的數(shù)據(jù)值拆分文件
awk 'NR!=1{print > $6}' netstat.txt

3.數(shù)據(jù)統(tǒng)計(jì)

awk可以做累加滑臊、計(jì)數(shù)口芍、求合、判斷這些基本邏輯

  • 輸出文件總和: ls -l | awk '{sum+=$5} END {print sum}'
  • 不同進(jìn)程使用內(nèi)存大小統(tǒng)計(jì): ps -aux | awk 'NR!=1{a[$11]+=$5;} END {for(item in a) print item " " a[item]" KB";}'
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末雇卷,一起剝皮案震驚了整個(gè)濱河市鬓椭,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌关划,老刑警劉巖小染,帶你破解...
    沈念sama閱讀 217,907評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異贮折,居然都是意外死亡裤翩,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,987評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門调榄,熙熙樓的掌柜王于貴愁眉苦臉地迎上來踊赠,“玉大人,你說我怎么就攤上這事振峻【室撸” “怎么了择份?”我有些...
    開封第一講書人閱讀 164,298評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵扣孟,是天一觀的道長。 經(jīng)常有香客問我荣赶,道長凤价,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,586評(píng)論 1 293
  • 正文 為了忘掉前任拔创,我火速辦了婚禮利诺,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘剩燥。我一直安慰自己慢逾,他們只是感情好立倍,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,633評(píng)論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著侣滩,像睡著了一般口注。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上君珠,一...
    開封第一講書人閱讀 51,488評(píng)論 1 302
  • 那天寝志,我揣著相機(jī)與錄音,去河邊找鬼策添。 笑死材部,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的唯竹。 我是一名探鬼主播乐导,決...
    沈念sama閱讀 40,275評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼浸颓!你這毒婦竟也來了兽叮?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,176評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤猾愿,失蹤者是張志新(化名)和其女友劉穎鹦聪,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體蒂秘,經(jīng)...
    沈念sama閱讀 45,619評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡泽本,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,819評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了姻僧。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片规丽。...
    茶點(diǎn)故事閱讀 39,932評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖撇贺,靈堂內(nèi)的尸體忽然破棺而出赌莺,到底是詐尸還是另有隱情,我是刑警寧澤松嘶,帶...
    沈念sama閱讀 35,655評(píng)論 5 346
  • 正文 年R本政府宣布艘狭,位于F島的核電站,受9級(jí)特大地震影響翠订,放射性物質(zhì)發(fā)生泄漏巢音。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,265評(píng)論 3 329
  • 文/蒙蒙 一尽超、第九天 我趴在偏房一處隱蔽的房頂上張望官撼。 院中可真熱鬧,春花似錦似谁、人聲如沸傲绣。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,871評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽秃诵。三九已至龙致,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間顷链,已是汗流浹背目代。 一陣腳步聲響...
    開封第一講書人閱讀 32,994評(píng)論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留嗤练,地道東北人榛了。 一個(gè)月前我還...
    沈念sama閱讀 48,095評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像煞抬,于是被迫代替她去往敵國和親霜大。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,884評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容