背景：
這是一個將本地數(shù)據(jù)中心的數(shù)據(jù)遷移至AWS S3的項目增热，數(shù)據(jù)量大概有60-70TB驰贷。存儲服務(wù)器為Windows2012帚戳，文件類型主要由文本文件和視頻媒體文件組成棵帽。
本以為是一次簡單的數(shù)據(jù)遷移上云妹卿，沒想到遇到了不少坑..
1.什么是snowball
簡單的說 Snowball是一個快速旺矾、安全、便宜的數(shù)據(jù)遷移方案夺克，這里的便宜是指比通過互聯(lián)網(wǎng)傳輸?shù)牧髁抠M要節(jié)省5倍左右箕宙，容量一般為50TB和80TB。
不僅可以將本地數(shù)據(jù)導(dǎo)入至S3铺纽，還可以將海量的S3數(shù)據(jù)傳輸回本地柬帕，不過在這里要注意的是，傳入云中的數(shù)據(jù)是不計費的狡门，從S3中導(dǎo)出數(shù)據(jù)是要按照數(shù)據(jù)量額外收取費用的陷寝。
查看定價
2.開始使用
使用的流程：
-
1：創(chuàng)建任務(wù)（導(dǎo)入還是導(dǎo)出）
image.png -
2：提供運輸信息 （貴公司數(shù)據(jù)中心地址）
image.png -
3：給任務(wù)起個名，選擇目標(biāo)存儲桶
image.png
-
4：創(chuàng)建IAM角色 設(shè)置SNS通知提交后等待審核
image.png
image.png
-
5：接收snowball后連接到本地網(wǎng)絡(luò)其馏，隨機(jī)附帶電源線凤跑， RJ45 網(wǎng)線、SFP+ 銅纜（或者 SFP+ 光學(xué)網(wǎng)絡(luò)接口）默認(rèn)可通過 DHCP 設(shè)定 IP叛复，也可以手動設(shè)定固定 IP 地址）
image.png -
6：下載snowball的客戶端（這里是第一個坑仔引，從文檔里下載的client叫opshub是針對snowball edge，中國區(qū)只有snowball v1.....中國區(qū)client下載鏈接 : Linux Windows 目前為止官網(wǎng)上還是沒有找到用于中國區(qū)的snowballv1的client下載地址 ）
image.png -
7：從控制臺上下載manifest 和密碼驗證snowball的完整性并解鎖開始使用（這里是第二個坑褐奥，我發(fā)現(xiàn)解鎖的時候軟件是沒有任何響應(yīng)的咖耘，最后發(fā)現(xiàn)作業(yè)狀態(tài)是正在準(zhǔn)備發(fā)運，可是我已經(jīng)收到貨了抖僵，后來聯(lián)系了客服才知道是后臺的問題沒有更新狀態(tài)的情況下是無法正常解鎖的鲤看，通過開case等了一天之后才將狀態(tài)更新...）
錯誤的狀態(tài)！
- 8：傳輸數(shù)據(jù)耍群，這里我使用的是Windows义桂，使用powershell配合命令完成數(shù)據(jù)傳輸
## 連接snowball 提供地址找筝、清單文件、解密密碼
snowball start -i 192.168.0.10 -m /Downloads/JID2EXAMPLE-0c40-49a7-9f53-916aEXAMPLE81-manifest.bin -u 12345-abcde-12345-ABCDE-12345
## 返回信息：
# snowball status: OK
# Snowball appliance version: 1.0.1 build 2017-03-10.5744751551
# Snowball client version: 1.0.1 Build 146
# IP: 10.29.180.135
# Used space Free space Total space
# 3739.88 GB 70474.39 GB 74214.27 GB
# Ready to transfer. When you're finished, run "snowball stop".
## 拷貝本機(jī)/Desktop/SnowballTestData目錄下所有文件到Snowball s3://ie-test-profiles-bjs/Logs目錄中慷吊，注意桶名
snowball cp --recursive ~/Desktop/SnowballTestData s3://ie-test-profiles-bjs/Logs
## 列出存儲桶中的數(shù)據(jù)
snowball ls s3://ie-test-profiles-bjs/Logs
## 刪除存儲桶中的數(shù)據(jù)
snowball rm -r s3://ie-test-profiles-bjs/Logs
- 9 snowball寄回有兩種方式
-
根據(jù)控制臺的郵件地址開case
image.png - snowball斷電后墨水屏上也會顯示寄回的方式
3.使用場景
- 1 將大量本地數(shù)據(jù)中心上傳至S3袖裕，至少是10TB以上，數(shù)據(jù)量小會比較不劃算
- 2 將大量S3的數(shù)據(jù)回傳至本地的數(shù)據(jù)中心溉瓶，將大大提高檢索速度
- 3 機(jī)器學(xué)習(xí)急鳄、邊緣計算、內(nèi)容分發(fā)等高級用法參考官網(wǎng)使用手冊
