WDL+CWL引入
cromwell知多少肮之?
cromwell是適應(yīng)于科學(xué)工作的工作流管理系統(tǒng)捣作,就是我們串流程時(shí)可以使用的一個(gè)調(diào)度器,支持多個(gè)計(jì)算平臺(tái)炼鞠,從公共云到HPC調(diào)度器逃默,重點(diǎn)是它可以支持兩種語言格式:Workflow Description Language (WDL) 和 Common Workflow Language (CWL),再重點(diǎn)是這兩種語言都被GA4GH項(xiàng)目接受簇搅,WDL是著名的broadinstitute開發(fā)的完域。
所以,有這么好的用戶社區(qū),用這兩種語言,你的項(xiàng)目也就具有普遍接受價(jià)值磕诊,成為行業(yè)規(guī)范,而cromwell支持這兩種語言肠仪,了解cromwell,熟悉WLD的語法規(guī)范备典,將我們的業(yè)務(wù)邏輯用這種語言表示异旧,形成清晰的DAG。
WDL初步介紹
cromwell
兩種模式來使用:?jiǎn)卫J剑╫ne command, one workflow)和接受REST queries的服務(wù)器提佣,包含高效的幾點(diǎn)特征吮蛹,比如中斷后只能恢復(fù)任務(wù)的 call caching 方案。源碼是Scala寫的拌屏。
WDL
WDL是一種人們易讀易寫的語法格式潮针,將開發(fā)人員從編程語法中解放出來,更多的精力去關(guān)注業(yè)務(wù)邏輯的實(shí)現(xiàn)倚喂,在workflow中定義task每篷,連接這些task形成DAG,可方便實(shí)現(xiàn)任務(wù)并行及依賴。
OpenWDL
隨著WDL用戶社區(qū)變大焦读,成為社區(qū)用戶驅(qū)動(dòng)的標(biāo)準(zhǔn)子库,有了openwdl。
接下來的幾篇文章矗晃,重點(diǎn)介紹我在學(xué)習(xí)cromwell和WLD的過程仑嗅,覺得是坑踩過、一些問題的經(jīng)驗(yàn)或解決辦法喧兄、甚至是我不懂的地方留坑待填。記錄學(xué)習(xí)啊楚,做總結(jié)吠冤,不翻譯。
解決方案都可以從文檔中找到恭理,找不到的就去各方溝通拯辙,想了解更多請(qǐng)去源碼那邊。
注: