遷移說明
對(duì)于使用第三方云平臺(tái)存儲(chǔ)的用戶芍躏,對(duì)象存儲(chǔ)COS支持以下兩種遷移方式邪乍,幫助用戶將第三方云平臺(tái)的存儲(chǔ)數(shù)據(jù)快速遷移至對(duì)象存儲(chǔ) COS。
遷移方式交互形式區(qū)分大小文件的閾值遷移并發(fā)度HTTPS 安全傳輸
遷移服務(wù)平臺(tái) MSP可視化頁面操作采用默認(rèn)設(shè)置全局統(tǒng)一開啟
COS Migration修改配置文件对竣,非可視化操作溺欧。可自定義調(diào)整針對(duì)大文件小文件分別定義并發(fā)度可選擇是否開啟柏肪,關(guān)閉有利于加快遷移速度姐刁。
遷移方法
一、遷移服務(wù)平臺(tái) MSP
遷移服務(wù)平臺(tái) MSP 是集成了多種遷移工具烦味,并且提供可視化界面的平臺(tái)聂使,能夠幫助用戶輕松監(jiān)控和管理大規(guī)模的數(shù)據(jù)遷移任務(wù)。
其中“文件遷移工具”能夠幫助用戶將數(shù)據(jù)從各類公有云或數(shù)據(jù)源站中遷移至對(duì)象存儲(chǔ) COS谬俄。
遷移操作步驟如下:
1. 登錄 控制臺(tái)→遷移服務(wù)平臺(tái) MSP柏靶。
2. 單擊左側(cè)菜單欄中的【遷移工具】,找到“文件遷移工具”入口溃论,并單擊【立即使用】屎蜓。
3. 新建遷移任務(wù)并配置任務(wù)信息。
4. 啟動(dòng)任務(wù)钥勋。
在新建遷移任務(wù)當(dāng)中炬转,可以看到支持的第三方云存儲(chǔ)遷移平臺(tái)有6個(gè)。
以下遷移教程算灸,會(huì)在下篇中詳解:
阿里云 OSS 遷移
七牛云 KODO 遷移
UCLOUD UFile 遷移
金山云 KS3 遷移
百度云 BOS 遷移
AWS S3 遷移
操作技巧:
在進(jìn)行數(shù)據(jù)遷移過程中扼劈,數(shù)據(jù)源的讀取速度會(huì)因?yàn)椴煌木W(wǎng)絡(luò)環(huán)境而有所不同,但客戶根據(jù)實(shí)際狀況在“新建文件遷移任務(wù)”時(shí)選擇較高的 QPS 并發(fā)度菲驴,有助于提高遷移速度 荐吵。
二、COS Migration
COS Migration 是一個(gè)集成了 COS 數(shù)據(jù)遷移功能的一體化工具。用戶只需要通過簡單的配置操作先煎,便可將數(shù)據(jù)快速遷移至 COS 中贼涩。
遷移操作步驟如下:
1. 安裝 Java 環(huán)境。
2. 安裝 COS Migration 工具薯蝎。
3. 修改配置文件遥倦。
4. 啟動(dòng)工具。
具體的操作方法良风,請(qǐng)點(diǎn)擊查看COS Migration工具谊迄。
操作技巧:
下面介紹如何配置 COS Migration 能最大程度提高遷移速度:
1. 根據(jù)自身網(wǎng)絡(luò)環(huán)境調(diào)整區(qū)分大小文件的閾值和遷移并發(fā)度,實(shí)現(xiàn)大文件分塊烟央,小文件并發(fā)? ? 傳輸?shù)淖罴堰w移方式统诺。
調(diào)整工具執(zhí)行時(shí)間和設(shè)立帶寬限制,保證自身業(yè)務(wù)運(yùn)行不受遷移數(shù)據(jù)帶寬占用影響疑俭。上述? ? 調(diào)整可在配置文件 config.ini 中[common]分節(jié)粮呢,修改如下參數(shù)進(jìn)行調(diào)整:
參數(shù)名稱參數(shù)說明
smallFileThreshold小文件閾值參數(shù),大于等于這個(gè)閾值使用分塊上傳钞艇,默認(rèn)設(shè)置為5MB啄寡。
bigFileExecutorNum大文件并發(fā)度,默認(rèn)值為8哩照。如果是通過外網(wǎng)來連接 COS挺物,且?guī)捿^小,請(qǐng)減小該并發(fā)度飘弧。
smallFileExecutorNum小文件并發(fā)度识藤,默認(rèn)值為64。如果是通過外網(wǎng)來連接 COS次伶,且?guī)捿^小痴昧,請(qǐng)減小該并發(fā)度。
executeTimeWindow該參數(shù)定義遷移工具每天執(zhí)行的時(shí)間段冠王,其他時(shí)間則會(huì)進(jìn)入休眠狀態(tài)赶撰,休眠狀態(tài)暫停遷移并會(huì)保留遷移進(jìn)度,直到下一個(gè)時(shí)間窗口自動(dòng)繼續(xù)執(zhí)行柱彻。
2. 采用分布式并行傳輸可以進(jìn)一步加快遷移速度豪娜。用戶可以考慮使用多臺(tái)機(jī)器安裝 COS Migration 并分別執(zhí)行不同源數(shù)據(jù)的遷移任務(wù)。