上文Shell中使用tar命令批量解壓縮的實(shí)現(xiàn)方法中提到我使用循環(huán)的方法批量解壓tar文件絮蒿,但是單進(jìn)程的解壓耗時(shí)太長荷憋,需要優(yōu)化写半,故決定采用FIFO(有名管道)實(shí)現(xiàn)可控并發(fā)數(shù)的多進(jìn)程解壓吏恭。
需要直接知道解決方案的請(qǐng)看第二節(jié)
1.FIFO(有名管道)簡(jiǎn)述
FIFO惠豺,又稱作命名管道(named pipe),它是Linux中用于進(jìn)程間通信的一種方法徒仓。
FIFO是一種特殊的文件腐碱。由于linux所有的事物都可以被視為文件,所以對(duì)命名管道的使用也就變得與文件操作非常統(tǒng)一掉弛。
FIFO簡(jiǎn)單理解症见,就是它能把兩個(gè)不相關(guān)的進(jìn)程聯(lián)系起來,F(xiàn)IFO就像一個(gè)公共通道殃饿,解決了不同進(jìn)程之間的“代溝”谋作。普通的無名管道只能讓相關(guān)的進(jìn)程進(jìn)行溝通(比如父shell和子shell之間)。
下面模擬了一個(gè)FIFO通信的過程壁晒,主要有兩個(gè)進(jìn)程:
#!/bin/bash
#Client.sh
#不斷向fifo寫入數(shù)據(jù)
tmp_fifo="/tmp/test.fifo"
rm -f $tmp_fifo
mkfifo $tmp_fifo
exec 6<>$tmp_fifo #這句話能把管道變成非阻塞瓷们!
i=0
while :
do
sleep 1 # 1秒寫一次
echo "$i" >&6
echo "$i"
#輸出到終端的時(shí)候要小心,會(huì)覆蓋你的終端秒咐,所以要停止谬晕,最好直接掛起進(jìn)程!携取!
let i++
done
exec 6>&-
#!/bin/bash
#Server.sh
#不斷從fifo中讀出數(shù)據(jù)
tmp_fifo="/tmp/test.fifo"
echo "$tmp_fifo"
exec 6<>$tmp_fifo #建立一個(gè)綁定
while :
do
read TEXT
sleep 1
echo "$TEXT" #每1s就讀取一個(gè)數(shù)據(jù)攒钳,并且打印到終端,要停止雷滋,最好掛起進(jìn)程不撑!
done <&6
打開終端A:$ ./Client.sh
打開終端B:$./Server.sh
你就能看到在終端B中從fifo中讀取到的數(shù)據(jù)文兢,你要是在終端B中把每次讀fifo的間隔給改成2秒,就更能說明問題了焕檬。上面的程序姆坚,在實(shí)驗(yàn)的時(shí)候最好通過不斷掛起A進(jìn)程來查看,然后觀察B進(jìn)程的輸出实愚。你會(huì)知道FIFO整個(gè)是怎么跑的兼呵。。腊敲。
FIFO的出現(xiàn)击喂,極好地解決了系統(tǒng)在應(yīng)用過程中產(chǎn)生的大量的中間臨時(shí)文件的問題。FIFO可以被shell調(diào)用使數(shù)據(jù)從一個(gè)進(jìn)程到另一個(gè)進(jìn)程碰辅,系統(tǒng)不必為該中間通道去煩惱清理不必要的垃圾懂昂,或者去釋放該通道的資源,它可以被留做后來的進(jìn)程使用没宾。并且規(guī)避了匿名管道在作用域的限制凌彬,可應(yīng)用于不相關(guān)的進(jìn)程之間。
此節(jié)參考文章:https://blog.csdn.net/firefoxbug/article/details/7358715
2.利用FIFO實(shí)現(xiàn)多進(jìn)程tar解壓
#獲取類型(Http等),目錄地址,臨時(shí)方案
type=$1
dir=$2
#獲取時(shí)間榕吼,包括月饿序、日、小時(shí)賬期
#測(cè)試使用-調(diào)度內(nèi)采用Oracle導(dǎo)入時(shí)間參數(shù)
v_month=`date -d "-1 month" '+%Y%m'` #當(dāng)月
echo $v_month
v_day=`date '+%Y%m%d'` #當(dāng)日
echo $v_day
#v_hour=`date -d "-1 hour" '+%Y%m%d%H'` #前一個(gè)小時(shí)
echo $v_hour
#創(chuàng)建臨時(shí)文件夾
temp='temp_'${type}'_'${v_hour}
echo ${temp}
mkdir ${dir}/${temp}
#聲明并發(fā)線程并發(fā)個(gè)數(shù)
THREAD=4
#聲明管道名稱羹蚣,'$$'表示腳本當(dāng)前運(yùn)行的進(jìn)程PID
TMPFIFO=/tmp/$$.fifo
#創(chuàng)建管道
mkfifo $TMPFIFO
#創(chuàng)建文件標(biāo)示符“5”
#這個(gè)數(shù)字可以為除“0”、“1”乱凿、“2”之外的所有未聲明過的字符顽素,以讀寫模式操作管道文件
#系統(tǒng)調(diào)用exec是以新的進(jìn)程去代替原來的進(jìn)程,但進(jìn)程的PID保持不變
#換句話說就是在調(diào)用進(jìn)程內(nèi)部執(zhí)行一個(gè)可執(zhí)行文件
exec 5<>${TMPFIFO}
#清除創(chuàng)建的管道文件
rm -rf ${TMPFIFO}
#為并發(fā)線程創(chuàng)建同樣個(gè)數(shù)的占位
for((i=1;i<=$THREAD;i++))
do
echo ;
#借用read命令一次讀取一行的特性
#使用一個(gè)echo默認(rèn)輸出一個(gè)換行符徒蟆,來確保每一行只有一個(gè)線程占位
done >&5 #將占位信息寫入管道
#解壓數(shù)據(jù) 匹配對(duì)應(yīng)類型type和時(shí)間戳
for i in `ls ${dir}/*${v_hour}*${type}*`
do
#從文件描述符管道中胁出,獲取一個(gè)管道的線程占位然后開始執(zhí)行操作;
#read中 -u 后面跟fd段审,表示從文件描述符中讀入全蝶,該文件描述符可以是exec新開啟的。
read -u 5
{
tar -xzvf $i -C ${dir}/${temp} #執(zhí)行壓縮
#任務(wù)執(zhí)行完后在fd5中寫入一個(gè)占位符寺枉,以保證這個(gè)線程執(zhí)行完后抑淫,線程繼續(xù)保持占位
#繼而維持管道中永遠(yuǎn)是固定線程數(shù),&表示該部分命令/任務(wù)放入后臺(tái)不占當(dāng)前的bash姥闪,實(shí)現(xiàn)并行處理
echo "" >&5
}&
done
#等待前面的線程執(zhí)行
wait
exec 5>&- #關(guān)閉fd5的管道
此節(jié)參考文章:https://blog.csdn.net/qq_34409701/article/details/52488964