(批量計算(BatchCompute)是一種適用于大規(guī)模并行批處理作業(yè)的分布式云服務(wù)。BatchCompute可支持海量作業(yè)并發(fā)規(guī)模,系統(tǒng)自動完成資源管理芭梯,作業(yè)調(diào)度和數(shù)據(jù)加載,并按實際使用量計費。BatchCompute廣泛應(yīng)用于電影動畫渲染挪凑、生物數(shù)據(jù)分析、多媒體轉(zhuǎn)碼逛艰、金融保險分析躏碳、科學(xué)計算等領(lǐng)域。)
功能特性
1. 提交作業(yè)
用戶使用工具(如SDK瓮孙,命令行工具等)向 BatchCompute 提交作業(yè)唐断,BatchCompute 使用用戶指定的鏡像(如:ubuntu)啟動虛擬機(VM), 在虛擬機中運行用戶程序, 運行完成后釋放虛擬機(VM)选脊。
BatchCompute中使用OSS作為持久化存儲。您可以在程序運行完成時將結(jié)果數(shù)據(jù)保存到OSS中脸甘。在批量計算中恳啥,也可以通過文件接口的方式訪問OSS上的數(shù)據(jù),請參閱OSS掛載功能丹诀。
BatchCompute程序默認運行在VM中钝的,也可以支持 Docker容器。?
也就是說铆遭,您可以自定義ECS鏡像或者使用Docker硝桩,在鏡像中安裝自己需要的任何軟件,用來運行您的任何程序枚荣。
作業(yè)描述
用戶需要提交一個作業(yè)(Job)描述JSON文件到批量計算服務(wù)碗脊,該JSON文件中詳細描述了需要執(zhí)行哪些程序(可以多個程序),運行哪些程序需要啟動多少臺機器橄妆,機器的規(guī)格(內(nèi)存和CPU等)衙伶,運行日志打印到哪里,完成后結(jié)果輸出到哪里等害碾。
一個作業(yè)(Job)包含多個任務(wù)(Task), 按照您指定DAG描述的順序執(zhí)行矢劲。
每個任務(wù)定義了使用哪個鏡像,使用什么實例規(guī)格慌随,運行哪個程序芬沉,需要多少臺機器運行,還有結(jié)果存儲在哪里等阁猜。
2. 管理我的作業(yè)
您可以使用工具(控制臺丸逸,命令行工具等),查看我提交的作業(yè)蹦漠,可以停止椭员,重啟,或刪除作業(yè)笛园。 查看各個任務(wù)的情況隘击,各個實例(VM實例)的情況和日志。下圖是控制臺的作業(yè)管理界面:
3. 使用集群
由于每次運行程序前需要啟動虛擬機研铆,會占用一定的時間(一般幾分鐘左右)埋同,遇到忙時有可能申請不到資源(虛擬機被其他客戶使用了),您提交作業(yè)后可能需要等待一段時間才能運行棵红。
如果您想要提高運行效率凶赁,可以先創(chuàng)建好集群,指定需要的虛擬機數(shù)量(比如:5臺)和鏡像ID,BatchCompute會為您分配好機器并啟動虱肄,這些機器會一直處于運行狀態(tài)致板,一旦您提交作業(yè)上來,就可以直接運行咏窿,效率較高斟或。
4. 自定義鏡像
您提交作業(yè)或者創(chuàng)建集群時,可以使用批量計算官方提供的鏡像集嵌,也可以使用自定義鏡像萝挤。自定義鏡像的好處是,可以自己安裝需要的軟件根欧。
課程列表: