阿里云批量計算使用教程

(批量計算(BatchCompute)是一種適用于大規(guī)模并行批處理作業(yè)的分布式云服務(wù)。BatchCompute可支持海量作業(yè)并發(fā)規(guī)模,系統(tǒng)自動完成資源管理芭梯,作業(yè)調(diào)度和數(shù)據(jù)加載,并按實際使用量計費。BatchCompute廣泛應(yīng)用于電影動畫渲染挪凑、生物數(shù)據(jù)分析、多媒體轉(zhuǎn)碼逛艰、金融保險分析躏碳、科學(xué)計算等領(lǐng)域。)

功能特性

1. 提交作業(yè)

用戶使用工具(如SDK瓮孙,命令行工具等)向 BatchCompute 提交作業(yè)唐断,BatchCompute 使用用戶指定的鏡像(如:ubuntu)啟動虛擬機(VM), 在虛擬機中運行用戶程序, 運行完成后釋放虛擬機(VM)选脊。

BatchCompute中使用OSS作為持久化存儲。您可以在程序運行完成時將結(jié)果數(shù)據(jù)保存到OSS中脸甘。在批量計算中恳啥,也可以通過文件接口的方式訪問OSS上的數(shù)據(jù),請參閱OSS掛載功能丹诀。

BatchCompute程序默認運行在VM中钝的,也可以支持 Docker容器。?

也就是說铆遭,您可以自定義ECS鏡像或者使用Docker硝桩,在鏡像中安裝自己需要的任何軟件,用來運行您的任何程序枚荣。

作業(yè)描述

用戶需要提交一個作業(yè)(Job)描述JSON文件到批量計算服務(wù)碗脊,該JSON文件中詳細描述了需要執(zhí)行哪些程序(可以多個程序),運行哪些程序需要啟動多少臺機器橄妆,機器的規(guī)格(內(nèi)存和CPU等)衙伶,運行日志打印到哪里,完成后結(jié)果輸出到哪里等害碾。

一個作業(yè)(Job)包含多個任務(wù)(Task), 按照您指定DAG描述的順序執(zhí)行矢劲。

每個任務(wù)定義了使用哪個鏡像,使用什么實例規(guī)格慌随,運行哪個程序芬沉,需要多少臺機器運行,還有結(jié)果存儲在哪里等阁猜。

2. 管理我的作業(yè)

您可以使用工具(控制臺丸逸,命令行工具等),查看我提交的作業(yè)蹦漠,可以停止椭员,重啟,或刪除作業(yè)笛园。 查看各個任務(wù)的情況隘击,各個實例(VM實例)的情況和日志。下圖是控制臺的作業(yè)管理界面:

3. 使用集群

由于每次運行程序前需要啟動虛擬機研铆,會占用一定的時間(一般幾分鐘左右)埋同,遇到忙時有可能申請不到資源(虛擬機被其他客戶使用了),您提交作業(yè)后可能需要等待一段時間才能運行棵红。

如果您想要提高運行效率凶赁,可以先創(chuàng)建好集群,指定需要的虛擬機數(shù)量(比如:5臺)和鏡像ID,BatchCompute會為您分配好機器并啟動虱肄,這些機器會一直處于運行狀態(tài)致板,一旦您提交作業(yè)上來,就可以直接運行咏窿,效率較高斟或。

4. 自定義鏡像

您提交作業(yè)或者創(chuàng)建集群時,可以使用批量計算官方提供的鏡像集嵌,也可以使用自定義鏡像萝挤。自定義鏡像的好處是,可以自己安裝需要的軟件根欧。

課程列表:

課時1:Docker應(yīng)用使用演示

課時2:控制臺提交和管理作業(yè)

課時3:命令行工具安裝和配置

課時4:命令行工具提交和管理作業(yè)

課時5:云渲染管理系統(tǒng)使用演示

課時6:自定義鏡像

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末怜珍,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子凤粗,更是在濱河造成了極大的恐慌酥泛,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,807評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件侈沪,死亡現(xiàn)場離奇詭異揭璃,居然都是意外死亡晚凿,警方通過查閱死者的電腦和手機亭罪,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,284評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來歼秽,“玉大人应役,你說我怎么就攤上這事≡锟辏” “怎么了箩祥?”我有些...
    開封第一講書人閱讀 169,589評論 0 363
  • 文/不壞的土叔 我叫張陵,是天一觀的道長肆氓。 經(jīng)常有香客問我袍祖,道長,這世上最難降的妖魔是什么谢揪? 我笑而不...
    開封第一講書人閱讀 60,188評論 1 300
  • 正文 為了忘掉前任蕉陋,我火速辦了婚禮,結(jié)果婚禮上拨扶,老公的妹妹穿的比我還像新娘凳鬓。我一直安慰自己,他們只是感情好患民,可當(dāng)我...
    茶點故事閱讀 69,185評論 6 398
  • 文/花漫 我一把揭開白布缩举。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪仅孩。 梳的紋絲不亂的頭發(fā)上托猩,一...
    開封第一講書人閱讀 52,785評論 1 314
  • 那天,我揣著相機與錄音辽慕,去河邊找鬼站刑。 笑死,一個胖子當(dāng)著我的面吹牛鼻百,可吹牛的內(nèi)容都是我干的绞旅。 我是一名探鬼主播,決...
    沈念sama閱讀 41,220評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼温艇,長吁一口氣:“原來是場噩夢啊……” “哼因悲!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起勺爱,我...
    開封第一講書人閱讀 40,167評論 0 277
  • 序言:老撾萬榮一對情侶失蹤晃琳,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后琐鲁,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體卫旱,經(jīng)...
    沈念sama閱讀 46,698評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,767評論 3 343
  • 正文 我和宋清朗相戀三年围段,在試婚紗的時候發(fā)現(xiàn)自己被綠了顾翼。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,912評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡奈泪,死狀恐怖适贸,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情涝桅,我是刑警寧澤拜姿,帶...
    沈念sama閱讀 36,572評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站冯遂,受9級特大地震影響蕊肥,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜蛤肌,卻給世界環(huán)境...
    茶點故事閱讀 42,254評論 3 336
  • 文/蒙蒙 一壁却、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧寻定,春花似錦儒洛、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,746評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春恼蓬,著一層夾襖步出監(jiān)牢的瞬間惊完,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,859評論 1 274
  • 我被黑心中介騙來泰國打工处硬, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留小槐,地道東北人。 一個月前我還...
    沈念sama閱讀 49,359評論 3 379
  • 正文 我出身青樓荷辕,卻偏偏與公主長得像凿跳,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子疮方,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,922評論 2 361

推薦閱讀更多精彩內(nèi)容

  • (批量計算(BatchCompute)是一種適用于大規(guī)模并行批處理作業(yè)的分布式云服務(wù)控嗜。BatchCompute可支...
    xmvip01閱讀 239評論 0 0
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn)骡显,斷路器疆栏,智...
    卡卡羅2017閱讀 134,716評論 18 139
  • 前一段感恩節(jié)壁顶,當(dāng)大家都在轉(zhuǎn)發(fā)各種感人祝福的時候,我什么也沒做溜歪,我知道我首先想到感恩的肯定是我的父母若专,但我不是一個容...
    紫怡瀾閱讀 416評論 0 1
  • 結(jié)束只在一瞬,不敢遙想痹愚,惟愿繼續(xù)富岳,只要還有繼續(xù)。
    此時節(jié)閱讀 342評論 1 0
  • 如果沒有你 我該是多么陶醉 那初春的暖陽啊 沐浴我心中最柔軟的地方 如果沒有你 我該是多么歡暢 那嫩綠的小草啊 吐...
    Ss修媛閱讀 119評論 0 0