Shell 中利用FIFO實(shí)現(xiàn)多進(jìn)程tar解壓的方法

上文Shell中使用tar命令批量解壓縮的實(shí)現(xiàn)方法中提到我使用循環(huán)的方法批量解壓tar文件絮蒿,但是單進(jìn)程的解壓耗時(shí)太長荷憋,需要優(yōu)化写半,故決定采用FIFO(有名管道)實(shí)現(xiàn)可控并發(fā)數(shù)的多進(jìn)程解壓吏恭。

需要直接知道解決方案的請(qǐng)看第二節(jié)

1.FIFO(有名管道)簡(jiǎn)述

FIFO惠豺,又稱作命名管道(named pipe),它是Linux中用于進(jìn)程間通信的一種方法徒仓。
FIFO是一種特殊的文件腐碱。由于linux所有的事物都可以被視為文件,所以對(duì)命名管道的使用也就變得與文件操作非常統(tǒng)一掉弛。
FIFO簡(jiǎn)單理解症见,就是它能把兩個(gè)不相關(guān)的進(jìn)程聯(lián)系起來,F(xiàn)IFO就像一個(gè)公共通道殃饿,解決了不同進(jìn)程之間的“代溝”谋作。普通的無名管道只能讓相關(guān)的進(jìn)程進(jìn)行溝通(比如父shell和子shell之間)。

下面模擬了一個(gè)FIFO通信的過程壁晒,主要有兩個(gè)進(jìn)程:

#!/bin/bash
#Client.sh
#不斷向fifo寫入數(shù)據(jù)

tmp_fifo="/tmp/test.fifo"
rm -f $tmp_fifo
mkfifo $tmp_fifo
exec 6<>$tmp_fifo #這句話能把管道變成非阻塞瓷们!

i=0
while :
do
    sleep 1                 # 1秒寫一次
    echo "$i" >&6
        echo "$i"    
        #輸出到終端的時(shí)候要小心,會(huì)覆蓋你的終端秒咐,所以要停止谬晕,最好直接掛起進(jìn)程!携取!
    let i++
done 

exec 6>&-
#!/bin/bash
#Server.sh
#不斷從fifo中讀出數(shù)據(jù)

tmp_fifo="/tmp/test.fifo"
echo "$tmp_fifo"
exec 6<>$tmp_fifo                 #建立一個(gè)綁定

while :
do
        read TEXT
    sleep 1
    echo "$TEXT"          #每1s就讀取一個(gè)數(shù)據(jù)攒钳,并且打印到終端,要停止雷滋,最好掛起進(jìn)程不撑!
done <&6

打開終端A:$ ./Client.sh

打開終端B:$./Server.sh

你就能看到在終端B中從fifo中讀取到的數(shù)據(jù)文兢,你要是在終端B中把每次讀fifo的間隔給改成2秒,就更能說明問題了焕檬。上面的程序姆坚,在實(shí)驗(yàn)的時(shí)候最好通過不斷掛起A進(jìn)程來查看,然后觀察B進(jìn)程的輸出实愚。你會(huì)知道FIFO整個(gè)是怎么跑的兼呵。。腊敲。

FIFO的出現(xiàn)击喂,極好地解決了系統(tǒng)在應(yīng)用過程中產(chǎn)生的大量的中間臨時(shí)文件的問題。FIFO可以被shell調(diào)用使數(shù)據(jù)從一個(gè)進(jìn)程到另一個(gè)進(jìn)程碰辅,系統(tǒng)不必為該中間通道去煩惱清理不必要的垃圾懂昂,或者去釋放該通道的資源,它可以被留做后來的進(jìn)程使用没宾。并且規(guī)避了匿名管道在作用域的限制凌彬,可應(yīng)用于不相關(guān)的進(jìn)程之間。

此節(jié)參考文章:https://blog.csdn.net/firefoxbug/article/details/7358715

2.利用FIFO實(shí)現(xiàn)多進(jìn)程tar解壓

#獲取類型(Http等),目錄地址,臨時(shí)方案
type=$1
dir=$2
#獲取時(shí)間榕吼,包括月饿序、日、小時(shí)賬期
#測(cè)試使用-調(diào)度內(nèi)采用Oracle導(dǎo)入時(shí)間參數(shù)  
v_month=`date -d "-1 month" '+%Y%m'` #當(dāng)月
echo $v_month
v_day=`date '+%Y%m%d'` #當(dāng)日
echo $v_day
#v_hour=`date -d "-1 hour" '+%Y%m%d%H'` #前一個(gè)小時(shí)
echo $v_hour

#創(chuàng)建臨時(shí)文件夾
temp='temp_'${type}'_'${v_hour}
echo ${temp}
mkdir ${dir}/${temp}

#聲明并發(fā)線程并發(fā)個(gè)數(shù)
THREAD=4
#聲明管道名稱羹蚣,'$$'表示腳本當(dāng)前運(yùn)行的進(jìn)程PID               
TMPFIFO=/tmp/$$.fifo
 #創(chuàng)建管道
mkfifo $TMPFIFO
#創(chuàng)建文件標(biāo)示符“5”
#這個(gè)數(shù)字可以為除“0”、“1”乱凿、“2”之外的所有未聲明過的字符顽素,以讀寫模式操作管道文件
#系統(tǒng)調(diào)用exec是以新的進(jìn)程去代替原來的進(jìn)程,但進(jìn)程的PID保持不變
#換句話說就是在調(diào)用進(jìn)程內(nèi)部執(zhí)行一個(gè)可執(zhí)行文件               
exec 5<>${TMPFIFO}
#清除創(chuàng)建的管道文件            
rm -rf ${TMPFIFO}      

#為并發(fā)線程創(chuàng)建同樣個(gè)數(shù)的占位
for((i=1;i<=$THREAD;i++))
do
   echo ;  
 #借用read命令一次讀取一行的特性
 #使用一個(gè)echo默認(rèn)輸出一個(gè)換行符徒蟆,來確保每一行只有一個(gè)線程占位
done >&5        #將占位信息寫入管道         

#解壓數(shù)據(jù) 匹配對(duì)應(yīng)類型type和時(shí)間戳
for i in `ls ${dir}/*${v_hour}*${type}*`
do 
  #從文件描述符管道中胁出,獲取一個(gè)管道的線程占位然后開始執(zhí)行操作;
#read中 -u 后面跟fd段审,表示從文件描述符中讀入全蝶,該文件描述符可以是exec新開啟的。
  read -u 5
  {
    tar -xzvf $i -C ${dir}/${temp}  #執(zhí)行壓縮 
#任務(wù)執(zhí)行完后在fd5中寫入一個(gè)占位符寺枉,以保證這個(gè)線程執(zhí)行完后抑淫,線程繼續(xù)保持占位
#繼而維持管道中永遠(yuǎn)是固定線程數(shù),&表示該部分命令/任務(wù)放入后臺(tái)不占當(dāng)前的bash姥闪,實(shí)現(xiàn)并行處理
    echo "" >&5 
  }&
done 

#等待前面的線程執(zhí)行
wait  

exec 5>&-  #關(guān)閉fd5的管道

此節(jié)參考文章:https://blog.csdn.net/qq_34409701/article/details/52488964

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末始苇,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子筐喳,更是在濱河造成了極大的恐慌催式,老刑警劉巖函喉,帶你破解...
    沈念sama閱讀 222,627評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異荣月,居然都是意外死亡管呵,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,180評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門哺窄,熙熙樓的掌柜王于貴愁眉苦臉地迎上來撇寞,“玉大人,你說我怎么就攤上這事堂氯∶锏#” “怎么了?”我有些...
    開封第一講書人閱讀 169,346評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵咽白,是天一觀的道長啤握。 經(jīng)常有香客問我,道長晶框,這世上最難降的妖魔是什么排抬? 我笑而不...
    開封第一講書人閱讀 60,097評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮授段,結(jié)果婚禮上蹲蒲,老公的妹妹穿的比我還像新娘。我一直安慰自己侵贵,他們只是感情好届搁,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,100評(píng)論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著窍育,像睡著了一般卡睦。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上漱抓,一...
    開封第一講書人閱讀 52,696評(píng)論 1 312
  • 那天表锻,我揣著相機(jī)與錄音,去河邊找鬼乞娄。 笑死瞬逊,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的仪或。 我是一名探鬼主播确镊,決...
    沈念sama閱讀 41,165評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼溶其!你這毒婦竟也來了骚腥?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,108評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤瓶逃,失蹤者是張志新(化名)和其女友劉穎束铭,沒想到半個(gè)月后廓块,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,646評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡契沫,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,709評(píng)論 3 342
  • 正文 我和宋清朗相戀三年带猴,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片懈万。...
    茶點(diǎn)故事閱讀 40,861評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡拴清,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出会通,到底是詐尸還是另有隱情口予,我是刑警寧澤,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布涕侈,位于F島的核電站沪停,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏裳涛。R本人自食惡果不足惜木张,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,196評(píng)論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望端三。 院中可真熱鬧舷礼,春花似錦、人聲如沸郊闯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,698評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽虚婿。三九已至旋奢,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間然痊,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,804評(píng)論 1 274
  • 我被黑心中介騙來泰國打工屉符, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留剧浸,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,287評(píng)論 3 379
  • 正文 我出身青樓矗钟,卻偏偏與公主長得像唆香,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子吨艇,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,860評(píng)論 2 361