(批量計算(BatchCompute)是一種適用于大規(guī)模并行批處理作業(yè)的分布式云服務(wù)乳怎。BatchCompute可支持海量作業(yè)并發(fā)規(guī)模淘这,系統(tǒng)自動完成資源管理琐鲁,作業(yè)調(diào)度和數(shù)據(jù)加載菠齿,并按實際使用量計費志膀。BatchCompute廣泛應(yīng)用于電影動畫渲染熙宇、生物數(shù)據(jù)分析、多媒體轉(zhuǎn)碼溉浙、金融保險分析烫止、科學計算等領(lǐng)域。)
功能特性
1. 提交作業(yè)
用戶使用工具(如SDK戳稽,命令行工具等)向 BatchCompute 提交作業(yè)馆蠕,BatchCompute 使用用戶指定的鏡像(如:ubuntu)啟動虛擬機(VM), 在虛擬機中運行用戶程序, 運行完成后釋放虛擬機(VM)期升。
BatchCompute中使用OSS作為持久化存儲。您可以在程序運行完成時將結(jié)果數(shù)據(jù)保存到OSS中互躬。在批量計算中播赁,也可以通過文件接口的方式訪問OSS上的數(shù)據(jù),請參閱OSS掛載功能吼渡。
BatchCompute程序默認運行在VM中容为,也可以支持 Docker容器。?
也就是說寺酪,您可以自定義ECS鏡像或者使用Docker坎背,在鏡像中安裝自己需要的任何軟件,用來運行您的任何程序寄雀。
作業(yè)描述
用戶需要提交一個作業(yè)(Job)描述JSON文件到批量計算服務(wù)得滤,該JSON文件中詳細描述了需要執(zhí)行哪些程序(可以多個程序),運行哪些程序需要啟動多少臺機器盒犹,機器的規(guī)格(內(nèi)存和CPU等)懂更,運行日志打印到哪里,完成后結(jié)果輸出到哪里等急膀。
一個作業(yè)(Job)包含多個任務(wù)(Task), 按照您指定DAG描述的順序執(zhí)行沮协。
每個任務(wù)定義了使用哪個鏡像,使用什么實例規(guī)格脖阵,運行哪個程序皂股,需要多少臺機器運行墅茉,還有結(jié)果存儲在哪里等命黔。
2. 管理我的作業(yè)
您可以使用工具(控制臺,命令行工具等)就斤,查看我提交的作業(yè)悍募,可以停止,重啟洋机,或刪除作業(yè)坠宴。 查看各個任務(wù)的情況,各個實例(VM實例)的情況和日志绷旗。下圖是控制臺的作業(yè)管理界面:
3. 使用集群
由于每次運行程序前需要啟動虛擬機喜鼓,會占用一定的時間(一般幾分鐘左右),遇到忙時有可能申請不到資源(虛擬機被其他客戶使用了)衔肢,您提交作業(yè)后可能需要等待一段時間才能運行庄岖。
如果您想要提高運行效率,可以先創(chuàng)建好集群角骤,指定需要的虛擬機數(shù)量(比如:5臺)和鏡像ID隅忿,BatchCompute會為您分配好機器并啟動,這些機器會一直處于運行狀態(tài),一旦您提交作業(yè)上來背桐,就可以直接運行优烧,效率較高。
4. 自定義鏡像
您提交作業(yè)或者創(chuàng)建集群時链峭,可以使用批量計算官方提供的鏡像畦娄,也可以使用自定義鏡像。自定義鏡像的好處是弊仪,可以自己安裝需要的軟件蜈块。
課程列表: