Jenkins 在聲明式 pipeline 中并行執(zhí)行任務(wù)

在持續(xù)集成的過程中,并行的執(zhí)行那些沒有依賴關(guān)系的任務(wù)可以縮短整個執(zhí)行過程古戴。Jenkins 的 pipeline 功能支持我們用代碼來配置持續(xù)集成的過程畜号。本文將介紹在 Jenkins 中使用聲明式 pipeline 語法完成任務(wù)的并行執(zhí)行。

Stage 內(nèi)的并行執(zhí)行

在聲明式 pipeline 版本 1.2 之前允瞧,這是唯一的并行方式简软,我們看一下代碼的寫法:

stage('run-parallel') {
 steps {
   parallel(
     a: {
       echo "task 1"
     },
     b: {
       echo "task 2"
     }
   )
 }
}

在同一個 stage 內(nèi)部,我們可以并行的執(zhí)行多個 step述暂。代碼中的 step a 和 b 會在同一臺 agent 上并行執(zhí)行痹升。但是我們可以看到,這種并行執(zhí)行的方式具有很大的局限性畦韭。首先因為 agent 只能在 stage 上設(shè)置疼蛾,所以這種方式不能在不同的 agent 上執(zhí)行并行的任務(wù)。其次并行執(zhí)行的粒度為 step 級別艺配,執(zhí)行點小任務(wù)還行察郁,但這樣的粒度對設(shè)計持續(xù)集成的流程來說明顯過小衍慎。所以,我們急需的是 stage 級別的并行執(zhí)行能力皮钠。

Stage 級別的并行執(zhí)行

在剛剛發(fā)布的聲明式 pipeline 版本 1.2 中稳捆,Jenkins 終于開始支持 stage 級別的并行執(zhí)行:

稍微有一點要求是你的 Jenkins 的版本要大于 2.7:

下面的實例代碼描述了如何執(zhí)行 stage 級別的并行任務(wù):

pipeline {
   agent any
   stages {
       stage('Stage1') {
           agent { label "test1" }
           steps {
               timestamps {
                   echo '這是第一個被執(zhí)行的 stage.'
                   sleep 5
               }
           }
       }
       stage('并行執(zhí)行的 Stage') {
           parallel {
               stage('Stage2.1') {
                   agent { label "test2" }
                   steps {
                       timestamps {
                           echo "在 agent test2 上執(zhí)行的并行任務(wù) 1."
                           sleep 5
                           echo "在 agent test2 上執(zhí)行的并行任務(wù) 1 結(jié)束."
                       }
                   }
               }
               stage('Stage2.2') {
                   agent { label "test3" }
                   steps {
                       timestamps {
                           echo "在 agent test3 上執(zhí)行的并行任務(wù) 2."
                           sleep 10
                           echo "在 agent test3 上執(zhí)行的并行任務(wù) 2 結(jié)束."
                       }
                   }
               }
           }
       }
       stage('Stage3') {
           agent { label "test1" }
           steps {
               timestamps {
                   echo '這是最后一個被執(zhí)行的 stage.'
               }
           }
       }
   }
}

上面的代碼描述的執(zhí)行順序是 Stage1, 并行執(zhí)行的 Stage 和 Stage3麦轰。其中并行執(zhí)行的 Stage 包含兩個并行執(zhí)行的子 Stage乔夯,分別是 Stage2.1 和 Stage2.2,并且這兩個 Stage 被指定到了不同的 agent款侵。為了能夠在日志中顯示步驟執(zhí)行的時間末荐,我們使用了 Timestamper 插件。所有在 timestamps {} 塊中的命令都會在日志中顯示執(zhí)行時間新锈。好了甲脏,現(xiàn)在執(zhí)行上面的配置,然后查看執(zhí)行日志:

從日志中可看到妹笆,Stage.21 和 Stage2.2 中的任務(wù)在執(zhí)行時間上是重疊的块请,并且運行它們的 agent 也不一樣。

總結(jié)

Stage 級別的并行任務(wù)處理是非常有用的功能晾浴,尤其是在我們設(shè)計持續(xù)集成的流程時。讓一些可以并行的任務(wù)(比如不同平臺上的自動測試)同時執(zhí)行可以明顯縮短整個過程耗費的時間牍白,從而提升持續(xù)執(zhí)行的效能脊凰。

作者:sparkdev
出處:http://www.cnblogs.com/sparkdev/

歡迎進(jìn)群討論各種技術(shù)問題:238757010

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市茂腥,隨后出現(xiàn)的幾起案子狸涌,更是在濱河造成了極大的恐慌,老刑警劉巖最岗,帶你破解...
    沈念sama閱讀 221,273評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件帕胆,死亡現(xiàn)場離奇詭異,居然都是意外死亡般渡,警方通過查閱死者的電腦和手機(jī)懒豹,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,349評論 3 398
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來驯用,“玉大人脸秽,你說我怎么就攤上這事『牵” “怎么了记餐?”我有些...
    開封第一講書人閱讀 167,709評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長薇正。 經(jīng)常有香客問我片酝,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,520評論 1 296
  • 正文 為了忘掉前任屡穗,我火速辦了婚禮妖碉,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘晦炊。我一直安慰自己鞠鲜,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 68,515評論 6 397
  • 文/花漫 我一把揭開白布断国。 她就那樣靜靜地躺著贤姆,像睡著了一般。 火紅的嫁衣襯著肌膚如雪稳衬。 梳的紋絲不亂的頭發(fā)上霞捡,一...
    開封第一講書人閱讀 52,158評論 1 308
  • 那天,我揣著相機(jī)與錄音薄疚,去河邊找鬼碧信。 笑死,一個胖子當(dāng)著我的面吹牛街夭,可吹牛的內(nèi)容都是我干的砰碴。 我是一名探鬼主播,決...
    沈念sama閱讀 40,755評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼板丽,長吁一口氣:“原來是場噩夢啊……” “哼呈枉!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起埃碱,我...
    開封第一講書人閱讀 39,660評論 0 276
  • 序言:老撾萬榮一對情侶失蹤猖辫,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后砚殿,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體啃憎,經(jīng)...
    沈念sama閱讀 46,203評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,287評論 3 340
  • 正文 我和宋清朗相戀三年似炎,在試婚紗的時候發(fā)現(xiàn)自己被綠了辛萍。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,427評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡羡藐,死狀恐怖叹阔,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情传睹,我是刑警寧澤耳幢,帶...
    沈念sama閱讀 36,122評論 5 349
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響睛藻,放射性物質(zhì)發(fā)生泄漏启上。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,801評論 3 333
  • 文/蒙蒙 一店印、第九天 我趴在偏房一處隱蔽的房頂上張望冈在。 院中可真熱鬧,春花似錦按摘、人聲如沸包券。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,272評論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽溅固。三九已至,卻和暖如春兰珍,著一層夾襖步出監(jiān)牢的瞬間侍郭,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,393評論 1 272
  • 我被黑心中介騙來泰國打工掠河, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留亮元,地道東北人。 一個月前我還...
    沈念sama閱讀 48,808評論 3 376
  • 正文 我出身青樓唠摹,卻偏偏與公主長得像爆捞,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子勾拉,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,440評論 2 359

推薦閱讀更多精彩內(nèi)容