Linux本地?cái)?shù)據(jù)上傳到阿里云OSS

這篇文章主要是介紹如何將服務(wù)器本地的數(shù)據(jù)上傳到阿里云OSS的指定bucket中熟尉,最重要的參考文檔是數(shù)據(jù)遷移單機(jī)部署弊仪。我第一次上傳數(shù)據(jù)到OSS上時(shí)熙卡,步驟要比前面的鏈接中介紹的要麻煩,ossimport工具還是v2.1励饵,現(xiàn)在已經(jīng)更新到了v2.2驳癌,而且阿里云的工程師將很多步驟封裝了起來(lái),因此流程簡(jiǎn)化了不少役听,大家可以直接參考前面的文檔颓鲜。我這份主要是針對(duì)linux服務(wù)器單機(jī)模式數(shù)據(jù)上傳的,Windows的請(qǐng)直接移步前方鏈接典予。

1. 環(huán)境配置和工具下載

第一步甜滨,要確保Linux本地已經(jīng)有了Java 1.7及以上的運(yùn)行環(huán)境。查看本機(jī)java版本瘤袖,使用命令 java -version 即可衣摩。如果沒(méi)有,請(qǐng)去網(wǎng)上搜相應(yīng)的安裝教程捂敌,有很多艾扮,這個(gè)不難;

第二步占婉,請(qǐng)從ossimport-2.2.1.zip此鏈接處下載ossimport工具泡嘴,使用wget命令即可。

下載到本地后锐涯,新建一個(gè)my_oss_work文件夾磕诊,再利用下述命令

unzip -o ossimport-2.2.1.zip -d my_oss_work

將壓縮文件解壓到my_oss_work文件夾填物,完畢纹腌。

2. ossimport的相關(guān)配置

這一步主要是配置local_job.cfg和sys.properties這兩個(gè)文件滞磺,它們都在上一步解壓的my_oss_work/conf文件夾下升薯。

第一步,修改local_job.cfg文件:首先击困,一定不要修改local_job.cfg的名稱(chēng)和位置广凸,保持不動(dòng)即可。然后利用vim打開(kāi)該文件,更改如下設(shè)置

srcType=local ? ? //因?yàn)槭潜镜厣蟼鳎源颂幵O(shè)置為local

srcPrefix=/home/my_name/my_data ? ?//這里是你本地需要上傳的文件夾

destAccessKey=LTAI******bLeL ? ? //這個(gè)是你阿里云賬戶(hù)的access key侥袜,需要你去你的阿里云賬戶(hù)上去找

destSecretKey=A3Ludf*********qbvEUz08DR? //這個(gè)是你阿里云賬戶(hù)的secret key溉贿,也需要你去你自己的賬戶(hù)上去查找枫吧。access key 和secret key都是用來(lái)對(duì)你的身份進(jìn)行驗(yàn)證的九杂,相當(dāng)于你傳數(shù)據(jù)到阿里云上時(shí)的鑰匙,這個(gè)鑰匙能唯一確定你的OSS

destDomain=http://oss-cn-beijing.aliyuncs.com? //這一步很重要代兵,這是你的endpoint尼酿,是由你的實(shí)際OSS區(qū)域確定的。如果你購(gòu)買(mǎi)了阿里云ECS服務(wù)植影,且是將你ECS主機(jī)上的數(shù)據(jù)上傳到OSS裳擎,那么這里設(shè)置http://oss-cn-beijing-internal.aliyuncs.com;如果你不僅購(gòu)買(mǎi)了ECS思币,還設(shè)置有VPC專(zhuān)有網(wǎng)絡(luò)鹿响,那么此處設(shè)置http://vpc100-oss-cn-beijing.aliyuncs.com;如果你是將自己的服務(wù)器(并不是阿里云的ECS主機(jī))比如你學(xué)院里的機(jī)房上的數(shù)據(jù)上傳到OSS谷饿,那么這里設(shè)置http://oss-cn-beijing.aliyuncs.com惶我。這些信息都可以在你的OSS賬戶(hù)里面查到。endpoint中的beijing說(shuō)明我購(gòu)買(mǎi)的是OSS區(qū)域在華北博投,如果你的在杭州绸贡,那么就改為hangzhou。這些都是可以在你的賬戶(hù)里查到的毅哗。

destBucket=my_bucket? //這是你的OSS的bucket名听怕,你要把數(shù)據(jù)傳到這個(gè)bucket上,注意虑绵,不要在bucket名字后面加斜線(xiàn)/

destPrefix=my_oss_data ?//這是你的目標(biāo)文件夾尿瞭,你要講數(shù)據(jù)傳到上面指定的my_bucket的my_oss_data文件夾下,注意此處文件夾開(kāi)頭不要加斜線(xiàn)/

jobName=local_test ?//這是你的任務(wù)名稱(chēng)翅睛,注意声搁,此處不需要修改黑竞,保持不變即可!疏旨!ossimport v2.2單機(jī)模式要求這個(gè)名稱(chēng)不能更改:芑辍!

除了上面幾個(gè)需要設(shè)置和注意以外檐涝,其它的都不需要?jiǎng)幽唬”3植蛔兗纯桑?/p>

第二步,修改sys.properties文件

workerMaxThroughput(KB/s)=0 ?//這是設(shè)置你的上傳速度上限骤铃,設(shè)置為0表示不限制拉岁。

注意,sys.properties中的配置項(xiàng)workingDir惰爬、workerUserName喊暖、workerPassword、privateKeyFile請(qǐng)不要修改K呵啤陵叽!保持不變即可!丛版!

到此巩掺,ossimport的配置到此結(jié)束。

3. 運(yùn)行ossimport和上傳數(shù)據(jù)

使用下述命令

cd my_oss_work

切換到剛才解壓的文件夾下页畦,即與import.sh這個(gè)文件保持同級(jí)胖替,你當(dāng)前目錄下存在著一個(gè)叫做import.sh的文件。這個(gè)文件將數(shù)據(jù)上傳的操作封裝在了一起豫缨,你無(wú)須管它里面寫(xiě)了什么独令,只要你前面local_job.cfg和sys_properties這兩個(gè)文件正確設(shè)置了,那么運(yùn)行命令

bash import.sh

ossimport工具就會(huì)依據(jù)你之前的設(shè)定好芭,將你本地/home/my_name/my_data文件夾下的所有數(shù)據(jù)上傳到你阿里云OSS的my_bucket的my_oss_data文件夾下燃箭。整個(gè)過(guò)程持續(xù)的時(shí)間,取決于你文件的大小和數(shù)量舍败。

上傳完畢之后招狸,你就可以去你的OSS上去查看了。

4. 查看上傳數(shù)據(jù)的狀態(tài)

如果數(shù)據(jù)量很大邻薯,上傳需要花費(fèi)很多時(shí)間裙戏,我們就可以選擇暫時(shí)斷開(kāi)連接。斷開(kāi)后弛说,ossimport仍會(huì)繼續(xù)上傳數(shù)據(jù)挽懦。當(dāng)我們?cè)俅蔚顷憰r(shí)翰意,想看一下數(shù)據(jù)上傳的進(jìn)度木人,這時(shí)就可以切換到my_oss_work文件夾下(也即ossimport的工作目錄下)信柿,執(zhí)行下述命令

bash console.sh stat

如果數(shù)據(jù)仍在上傳,則會(huì)顯示出當(dāng)前的工作狀態(tài)和正在運(yùn)行的任務(wù)醒第;如果已經(jīng)上傳結(jié)束了渔嚷,就會(huì)顯示?JobState:Succeed

5. 其他情況

上述是一鍵上傳,其實(shí)也可以逐步上傳稠曼,這個(gè)數(shù)據(jù)遷移單機(jī)部署這個(gè)鏈接處也有介紹形病,但是要麻煩很多,不建議新手去嘗試霞幅,直接采用上述一鍵上傳的步驟即可漠吻。是否上傳成功,取決于你在上面的每一步配置是否正確K究摇途乃!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市扔傅,隨后出現(xiàn)的幾起案子耍共,更是在濱河造成了極大的恐慌,老刑警劉巖猎塞,帶你破解...
    沈念sama閱讀 207,248評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件试读,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡荠耽,警方通過(guò)查閱死者的電腦和手機(jī)钩骇,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,681評(píng)論 2 381
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)铝量,“玉大人伊履,你說(shuō)我怎么就攤上這事】钗ィ” “怎么了唐瀑?”我有些...
    開(kāi)封第一講書(shū)人閱讀 153,443評(píng)論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀(guān)的道長(zhǎng)插爹。 經(jīng)常有香客問(wèn)我哄辣,道長(zhǎng),這世上最難降的妖魔是什么赠尾? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,475評(píng)論 1 279
  • 正文 為了忘掉前任力穗,我火速辦了婚禮,結(jié)果婚禮上气嫁,老公的妹妹穿的比我還像新娘当窗。我一直安慰自己,他們只是感情好寸宵,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,458評(píng)論 5 374
  • 文/花漫 我一把揭開(kāi)白布崖面。 她就那樣靜靜地躺著元咙,像睡著了一般。 火紅的嫁衣襯著肌膚如雪巫员。 梳的紋絲不亂的頭發(fā)上庶香,一...
    開(kāi)封第一講書(shū)人閱讀 49,185評(píng)論 1 284
  • 那天,我揣著相機(jī)與錄音简识,去河邊找鬼赶掖。 笑死,一個(gè)胖子當(dāng)著我的面吹牛七扰,可吹牛的內(nèi)容都是我干的奢赂。 我是一名探鬼主播,決...
    沈念sama閱讀 38,451評(píng)論 3 401
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼颈走,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼呈驶!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起疫鹊,我...
    開(kāi)封第一講書(shū)人閱讀 37,112評(píng)論 0 261
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤袖瞻,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后拆吆,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體聋迎,經(jīng)...
    沈念sama閱讀 43,609評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,083評(píng)論 2 325
  • 正文 我和宋清朗相戀三年枣耀,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了霉晕。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,163評(píng)論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡捞奕,死狀恐怖牺堰,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情颅围,我是刑警寧澤伟葫,帶...
    沈念sama閱讀 33,803評(píng)論 4 323
  • 正文 年R本政府宣布,位于F島的核電站院促,受9級(jí)特大地震影響筏养,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜常拓,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,357評(píng)論 3 307
  • 文/蒙蒙 一渐溶、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧弄抬,春花似錦茎辐、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,357評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)弛槐。三九已至,卻和暖如春慕蔚,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背斋配。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,590評(píng)論 1 261
  • 我被黑心中介騙來(lái)泰國(guó)打工孔飒, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人艰争。 一個(gè)月前我還...
    沈念sama閱讀 45,636評(píng)論 2 355
  • 正文 我出身青樓坏瞄,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親甩卓。 傳聞我的和親對(duì)象是個(gè)殘疾皇子鸠匀,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,925評(píng)論 2 344

推薦閱讀更多精彩內(nèi)容

  • 我在上一篇博客Linux本地?cái)?shù)據(jù)上傳到阿里云OSS中介紹了如何將linux本地的數(shù)據(jù)上傳到阿里云的OSS,在這篇博...
    余含軍閱讀 5,981評(píng)論 3 0
  • OSS是阿里云推出的對(duì)象存儲(chǔ)服務(wù)逾柿,OSSFS是一個(gè)可以將OSS掛載到阿里云ECS服務(wù)器上的工具缀棍,可以達(dá)到存儲(chǔ)/備份...
    danfan閱讀 4,017評(píng)論 0 1
  • 阿里云對(duì)象存儲(chǔ)OSS,主要是用于存儲(chǔ)靜態(tài)資源文件,它提供了很多方便的操作圖片的方法(縮放旋轉(zhuǎn)水印等),在實(shí)現(xiàn)了OS...
    記住你姓李閱讀 10,403評(píng)論 0 9
  • OSS: Object Storage Service 初次接觸之控制臺(tái)操作 操作教程地址 開(kāi)通40g/年 9塊錢(qián)...
    __damon__閱讀 7,572評(píng)論 0 7
  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn)机错,斷路器爬范,智...
    卡卡羅2017閱讀 134,601評(píng)論 18 139