讀shell scripts的總結(jié)

今天讀程序找田,遇到一些sed命令和awk命令不太明白怨酝,于是去認(rèn)真查了查您炉,搞清楚并且總結(jié)于此驻粟。

mnt=$(readlink -f $(grep -P "_dbdir_.*_nodeid_" some.conf | sed "s#.*_dbdir_\(.*\)_nodeid_#$dbdir\1$nd#")|sed 's#/HAS[0-9]*/\([a-zA-Z0-9_-]*\)#\1#')
好長饭宾,打字都好累批糟,這么多符號(hào),當(dāng)初誰寫的啊= =

又遇到一個(gè)比較難的sed命令行捏雌,簡(jiǎn)直醉了跃赚。
sed -n '/^\['$nd_str'\]/,/^\[/{s/ *'DBDir'[ ]*= *\(.*\)[ ]*$/\1/p;}' kernelite.ini

  1. readlink命令
    readlink是用來找出符號(hào)鏈接指向的位置,使用readlink --help to print value of symbolic link or canonical name
    -f 參數(shù)是 遞歸跟隨給出文件名的所有符號(hào)鏈接以標(biāo)準(zhǔn)化
  2. grep -P -o -c命令
    -P, --perl-regexp: Interpret PATTERN as a Perl regular expression.
    -o, --only-matching: Show only the part of a matching line that matches PATTERN.
    -c,只輸出匹配行的計(jì)數(shù)
    -s ,不顯示不存在或無匹配文本的錯(cuò)誤信息纬傲。
    -q: 靜默模式, 不輸出任何結(jié)果
    -w: does a word search 全字匹配
  3. ps命令
    顯示當(dāng)前進(jìn)程的狀態(tài)
    -e-A,顯示所有進(jìn)程
    -o 表示自定義顯示
    -C<命令> 列出指定命令的狀況
    pid=$(ps -e -o pid,args | awk '/'$SysGov'$/{print $1}')
  4. xargs
    將前一個(gè)命令的輸出作為參數(shù)
    ps -e -o pid,args | egrep "$SysGov$|$SysGov .*ini$" |cut -c1-5 | xargs kill -9 2>/dev/null
    另外一個(gè)例子
    file -Lz *|grep ASCII |cut -d":" -f1 | xargs ls -ltr
  5. killall命令
    killall命令用于殺死指定名字的進(jìn)程满败,kill是殺死指定PID的進(jìn)程,但是在這之前要使用ps等命令再grep來查找進(jìn)程
    ssh $i "killall -9 $UBSH 2>/dev/null
  6. scp命令
    -p 保留原文件的修改時(shí)間以及權(quán)限
    -q 不顯示傳輸進(jìn)度條
    scp -qp $srcdir/SysGovernor $SysGov
  7. ln命令
    -f 強(qiáng)制執(zhí)行
    -s 軟連接叹括,符號(hào)鏈接
    第一個(gè)是源文件算墨,第二個(gè)是目標(biāo)文件,硬鏈接是一個(gè)檔案可以有多個(gè)名稱汁雷,軟鏈接是一個(gè)特殊的檔案指向另外一個(gè)檔案的位置净嘀。
    ln -fs $UBClient UBClient
  8. sed命令
    sed是在線編輯器,一次處理一行內(nèi)容侠讯,處理的時(shí)候把當(dāng)前的行存儲(chǔ)在臨時(shí)緩沖區(qū)中挖藏,sed命令處理緩沖區(qū)中的內(nèi)容,處理完成后厢漩,把緩沖區(qū)的內(nèi)容送往屏幕膜眠。
    sed 1d刪除第一行
    \(..\):保存括號(hào)內(nèi)匹配的字符,在上面的匹配中溜嗜,括號(hào)中一般匹配到的是/
    sed 's/test/mytest/g example 將整行范圍內(nèi)進(jìn)行替換宵膨,沒有g(shù)標(biāo)記,每行直郵第一個(gè)匹配的test被替換
    sed 's/\(love\)able/\1rs/p' examplelove被標(biāo)記為 1炸宵,然后進(jìn)行替換成lovers
    sed 's#19#100#g' example不論什么字符辟躏,緊跟著s命令的都被認(rèn)為是新的分隔符,#代替了/作為分隔符
    *表示匹配0個(gè)或者多個(gè)字符
    .表示匹配一個(gè)非換行符的字符
    sed -n 取消默認(rèn)輸出土全,等同于--quiet, --silent
    sed -n '/test/,/check/p' example所有在test和check所確定的范圍內(nèi)的行都將被打印捎琐,主要是有p選項(xiàng)
    sed '/test/,/check/s/$/sed test/' example 對(duì)于模版test和check之間的行,每行的末尾都用sed test進(jìn)行替換涯曲。上面的程序就是如此野哭,只不過后面的替換s命令太長,所以就使用了{(lán)}幻件,然后里面命令后面要加分號(hào),也就是對(duì)于每一個(gè)node的信息段蛔溃,將DBDir的路徑打印出來绰沥,注意-n選項(xiàng)的使用,以及p選項(xiàng)的使用贺待。
  9. awk命令
    awk同樣也是行處理器徽曲,在與屏幕處理相比較,處理龐大文件的時(shí)候不會(huì)出現(xiàn)內(nèi)存溢出或者處理緩慢麸塞,用來格式化文本信息秃臣。
    has=$(grep -P "^$mnt\t" $autohas | awk -F '\t|:' '{print $2}' | sort -u)
    awk [-F|-f|-v] 'BEGIN{} //{command1;command2} END{}' file是awk命令形式
    awk -F '\t|:'用于指定分隔符是\t或者:
    -f 參數(shù)是調(diào)用腳本
    -v 定義變量 var=value
    $0 表示整個(gè)當(dāng)前行
    $1 表示每行的第一個(gè)字段
    NF 字段數(shù)量變量
    NR 每行的紀(jì)錄號(hào),多個(gè)文件遞增
    FNR 每行的記錄號(hào)
    FS BEGIN定義分隔符
    RS 輸入的紀(jì)錄分隔符,默認(rèn)是一行一行輸入奥此,換行符
    OFS 輸出字段分隔符弧哎,默認(rèn)是空格
    ORS 輸出的紀(jì)錄分隔符,默認(rèn)是換行符
    -F '[:#/]' 定義三個(gè)分隔符
    awk -f script.awk file 'BEGIN{FS=":"} {print $1}'
  10. 一些例子
    1)sed與awk
    sed 's/#.*//; s/[:=]/ /g' param.ini|awk '/NodeIP/ {print ++c-1,$2}'|grep -w x139|cut -d' ' -f1
    首先sed執(zhí)行了替換操作稚虎,第一個(gè)替換是把#以及后面的內(nèi)容替換為空撤嫩,然后是將: =這兩個(gè)符號(hào)替換為空白字符串,接下來尋找有NodeIP的一行蠢终,打印c以及第二個(gè)字段序攘,c默認(rèn)初始值為0,也就是nodes的序號(hào)寻拂,然后執(zhí)行精確匹配grep -w匹配出需要的nodes的行程奠,然后獲取其序號(hào)。
    2). pgrep以及awk
    ki=$(pgrep -lf $SysGov | awk '/-k/{print $NF}')
    pgrep查看進(jìn)程的消息祭钉,通過進(jìn)程名字來查詢進(jìn)程梦染,判斷程序是否在運(yùn)行
    -l 表示同時(shí)顯示進(jìn)程名和PID
    -f 表示全部命令行,包括命令執(zhí)行參數(shù)
    /-k/{print $NF} 表示匹配-k朴皆,然后NDF表示字段數(shù)量帕识,也就是說打印出最后一個(gè)字段
    3).一個(gè)循環(huán)處理
i=0
while((i<3));do 
echo $(uptime|cut -d, -f3-|cut -d: -f2)
i=$[ $i + 1 ]
done|awk '{x += $1} END{printf "%.0f\n",x}'```
打印出3次uptime之和,因?yàn)镋ND是當(dāng)程序運(yùn)行結(jié)束后才會(huì)運(yùn)行的遂铡。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末肮疗,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子扒接,更是在濱河造成了極大的恐慌伪货,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,627評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件钾怔,死亡現(xiàn)場(chǎng)離奇詭異碱呼,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)宗侦,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,180評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門愚臀,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人矾利,你說我怎么就攤上這事姑裂。” “怎么了男旗?”我有些...
    開封第一講書人閱讀 169,346評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵舶斧,是天一觀的道長。 經(jīng)常有香客問我察皇,道長茴厉,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,097評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮矾缓,結(jié)果婚禮上怀酷,老公的妹妹穿的比我還像新娘。我一直安慰自己而账,他們只是感情好胰坟,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,100評(píng)論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著泞辐,像睡著了一般笔横。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上咐吼,一...
    開封第一講書人閱讀 52,696評(píng)論 1 312
  • 那天吹缔,我揣著相機(jī)與錄音,去河邊找鬼锯茄。 笑死厢塘,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的肌幽。 我是一名探鬼主播晚碾,決...
    沈念sama閱讀 41,165評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼喂急!你這毒婦竟也來了格嘁?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,108評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤廊移,失蹤者是張志新(化名)和其女友劉穎糕簿,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體狡孔,經(jīng)...
    沈念sama閱讀 46,646評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡懂诗,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,709評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了苗膝。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片殃恒。...
    茶點(diǎn)故事閱讀 40,861評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖荚醒,靈堂內(nèi)的尸體忽然破棺而出芋类,到底是詐尸還是另有隱情,我是刑警寧澤界阁,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站胖喳,受9級(jí)特大地震影響泡躯,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,196評(píng)論 3 336
  • 文/蒙蒙 一较剃、第九天 我趴在偏房一處隱蔽的房頂上張望咕别。 院中可真熱鬧,春花似錦写穴、人聲如沸惰拱。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,698評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽偿短。三九已至,卻和暖如春馋没,著一層夾襖步出監(jiān)牢的瞬間昔逗,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,804評(píng)論 1 274
  • 我被黑心中介騙來泰國打工篷朵, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留勾怒,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,287評(píng)論 3 379
  • 正文 我出身青樓声旺,卻偏偏與公主長得像笔链,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子腮猖,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,860評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • 知識(shí)點(diǎn) sort uniq cut wc sed命令 awk命令 crontab定時(shí)器 sort sort 命令對(duì)...
  • sed與awk實(shí)例 文本間隔 在每一行后面增加一空行 將原來的所有空行刪除并在每一行后面增加一空行鉴扫。這樣在輸出的文...
    stuha閱讀 1,901評(píng)論 0 21
  • linux資料總章2.1 1.0寫的不好抱歉 但是2.0已經(jīng)改了很多 但是錯(cuò)誤還是無法避免 以后資料會(huì)慢慢更新 大...
    數(shù)據(jù)革命閱讀 12,176評(píng)論 2 33
  • 本文承接之前寫的三十分鐘學(xué)會(huì)AWK一文,在學(xué)習(xí)完AWK之后缚够,趁熱打鐵又學(xué)習(xí)了一下SED幔妨,不得不說這兩個(gè)工具真的堪稱...
    mylxsw閱讀 4,401評(píng)論 3 74
  • 行走過許多地方,從未有哪里像伊春這樣讓我魂?duì)繅?mèng)繞谍椅,回來一個(gè)多月了误堡,身已遠(yuǎn),心長留雏吭! 7月下旬锁施,北京的桑拿天初起,我...
    簡(jiǎn)姝k閱讀 625評(píng)論 0 1