阿里云批量計算使用教程

(批量計算(BatchCompute)是一種適用于大規(guī)模并行批處理作業(yè)的分布式云服務(wù)乳怎。BatchCompute可支持海量作業(yè)并發(fā)規(guī)模淘这,系統(tǒng)自動完成資源管理琐鲁,作業(yè)調(diào)度和數(shù)據(jù)加載菠齿,并按實際使用量計費志膀。BatchCompute廣泛應(yīng)用于電影動畫渲染熙宇、生物數(shù)據(jù)分析、多媒體轉(zhuǎn)碼溉浙、金融保險分析烫止、科學計算等領(lǐng)域。)

功能特性

1. 提交作業(yè)

用戶使用工具(如SDK戳稽,命令行工具等)向 BatchCompute 提交作業(yè)馆蠕,BatchCompute 使用用戶指定的鏡像(如:ubuntu)啟動虛擬機(VM), 在虛擬機中運行用戶程序, 運行完成后釋放虛擬機(VM)期升。

BatchCompute中使用OSS作為持久化存儲。您可以在程序運行完成時將結(jié)果數(shù)據(jù)保存到OSS中互躬。在批量計算中播赁,也可以通過文件接口的方式訪問OSS上的數(shù)據(jù),請參閱OSS掛載功能吼渡。

BatchCompute程序默認運行在VM中容为,也可以支持 Docker容器。?

也就是說寺酪,您可以自定義ECS鏡像或者使用Docker坎背,在鏡像中安裝自己需要的任何軟件,用來運行您的任何程序寄雀。

作業(yè)描述

用戶需要提交一個作業(yè)(Job)描述JSON文件到批量計算服務(wù)得滤,該JSON文件中詳細描述了需要執(zhí)行哪些程序(可以多個程序),運行哪些程序需要啟動多少臺機器盒犹,機器的規(guī)格(內(nèi)存和CPU等)懂更,運行日志打印到哪里,完成后結(jié)果輸出到哪里等急膀。

一個作業(yè)(Job)包含多個任務(wù)(Task), 按照您指定DAG描述的順序執(zhí)行沮协。

每個任務(wù)定義了使用哪個鏡像,使用什么實例規(guī)格脖阵,運行哪個程序皂股,需要多少臺機器運行墅茉,還有結(jié)果存儲在哪里等命黔。

2. 管理我的作業(yè)

您可以使用工具(控制臺,命令行工具等)就斤,查看我提交的作業(yè)悍募,可以停止,重啟洋机,或刪除作業(yè)坠宴。 查看各個任務(wù)的情況,各個實例(VM實例)的情況和日志绷旗。下圖是控制臺的作業(yè)管理界面:

3. 使用集群

由于每次運行程序前需要啟動虛擬機喜鼓,會占用一定的時間(一般幾分鐘左右),遇到忙時有可能申請不到資源(虛擬機被其他客戶使用了)衔肢,您提交作業(yè)后可能需要等待一段時間才能運行庄岖。

如果您想要提高運行效率,可以先創(chuàng)建好集群角骤,指定需要的虛擬機數(shù)量(比如:5臺)和鏡像ID隅忿,BatchCompute會為您分配好機器并啟動,這些機器會一直處于運行狀態(tài),一旦您提交作業(yè)上來背桐,就可以直接運行优烧,效率較高。

4. 自定義鏡像

您提交作業(yè)或者創(chuàng)建集群時链峭,可以使用批量計算官方提供的鏡像畦娄,也可以使用自定義鏡像。自定義鏡像的好處是弊仪,可以自己安裝需要的軟件蜈块。

課程列表:

課時1:Docker應(yīng)用使用演示

課時2:控制臺提交和管理作業(yè)

課時3:命令行工具安裝和配置

課時4:命令行工具提交和管理作業(yè)

課時5:云渲染管理系統(tǒng)使用演示

課時6:自定義鏡像

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末院刁,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌帚豪,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,946評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件桨啃,死亡現(xiàn)場離奇詭異踩蔚,居然都是意外死亡,警方通過查閱死者的電腦和手機禾嫉,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,336評論 3 399
  • 文/潘曉璐 我一進店門灾杰,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人熙参,你說我怎么就攤上這事艳吠。” “怎么了孽椰?”我有些...
    開封第一講書人閱讀 169,716評論 0 364
  • 文/不壞的土叔 我叫張陵昭娩,是天一觀的道長。 經(jīng)常有香客問我黍匾,道長栏渺,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,222評論 1 300
  • 正文 為了忘掉前任锐涯,我火速辦了婚禮磕诊,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘纹腌。我一直安慰自己霎终,他們只是感情好,可當我...
    茶點故事閱讀 69,223評論 6 398
  • 文/花漫 我一把揭開白布升薯。 她就那樣靜靜地躺著莱褒,像睡著了一般。 火紅的嫁衣襯著肌膚如雪覆劈。 梳的紋絲不亂的頭發(fā)上保礼,一...
    開封第一講書人閱讀 52,807評論 1 314
  • 那天沛励,我揣著相機與錄音,去河邊找鬼炮障。 笑死目派,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的胁赢。 我是一名探鬼主播企蹭,決...
    沈念sama閱讀 41,235評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼智末!你這毒婦竟也來了谅摄?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,189評論 0 277
  • 序言:老撾萬榮一對情侶失蹤系馆,失蹤者是張志新(化名)和其女友劉穎送漠,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體由蘑,經(jīng)...
    沈念sama閱讀 46,712評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡闽寡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,775評論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了尼酿。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片爷狈。...
    茶點故事閱讀 40,926評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖裳擎,靈堂內(nèi)的尸體忽然破棺而出涎永,到底是詐尸還是另有隱情,我是刑警寧澤鹿响,帶...
    沈念sama閱讀 36,580評論 5 351
  • 正文 年R本政府宣布羡微,位于F島的核電站,受9級特大地震影響抢野,放射性物質(zhì)發(fā)生泄漏拷淘。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,259評論 3 336
  • 文/蒙蒙 一指孤、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧贬堵,春花似錦恃轩、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,750評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至蒸殿,卻和暖如春筷厘,著一層夾襖步出監(jiān)牢的瞬間鸣峭,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,867評論 1 274
  • 我被黑心中介騙來泰國打工酥艳, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留摊溶,地道東北人。 一個月前我還...
    沈念sama閱讀 49,368評論 3 379
  • 正文 我出身青樓充石,卻偏偏與公主長得像莫换,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子骤铃,可洞房花燭夜當晚...
    茶點故事閱讀 45,930評論 2 361

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理拉岁,服務(wù)發(fā)現(xiàn),斷路器惰爬,智...
    卡卡羅2017閱讀 134,719評論 18 139
  • 敬畏—進入——交給—持續(xù) 1,缺啥補啥撕瞧,怕啥練啥哄啄; 2,一切為我所用,所用為團隊家风范; 3咨跌,我想變,我要變硼婿,我不得不...
    ATurbo閱讀 88評論 0 0
  • 文章將從Facebook寇漫,Twitter刊殉,Instagram,微博州胳,qq 5個平臺進行第三方登錄的細節(jié)记焊。微信登錄比...
    Figo_OU閱讀 18,382評論 21 27
  • 時間會蒼老我們所有的等待,但同時也會給予我們所有的期待栓撞,不驕不躁遍膜,你會遇到你想要的。 今天跟一個朋友聊了一會兒瓤湘,聊...
    胖胖胖胖胖的不忘閱讀 270評論 0 0