SeaweedFS:簡單,高可用的分布式文件存儲

最近在調(diào)研文件的分布式存儲及高可用浙宜,在GITHUB上面,發(fā)現(xiàn)了這個SeaweedFS項目不錯炕贵。

SeaweedFS是基于go語言開發(fā)的高可用文件存儲系統(tǒng)梆奈,兩大特性

1 成存儲上億的文件(最終受制于你的硬盤大小)

2 速度剛剛的

Seaweedfs的設(shè)計原理是基于 Facebook 的一篇圖片存儲系統(tǒng)的論文Facebook-Haystack

雖然我還沒有看称开,不過我覺得亩钟。肯定是NBHH的鳖轰。今天就只說一下環(huán)境相關(guān)的清酥。


安裝:

第一步,GO的運行環(huán)境(還可以參考官網(wǎng)的https://golang.org/doc/install)

wget https://storage.googleapis.com/golang/go1.6.1.linux-amd64.tar.gz

sudo tar -C /usr/local -xzf go1.6.1.linux-amd64.tar.gz

第二步蕴侣,配置環(huán)境變量 /etc/profile

export PATH=$PATH:/usr/local/go/bin

export GOPATH=/usr/webserver/go/

export PATH=$PATH:$GOPATH/bin

第三步 安裝git

sudo apt-get install git

第四步 安裝mercurial

apt-get install?mercurial

第五步焰轻,編譯安裝

go get github.com/chrislusf/seaweedfs/go/weed ?((此處需要vpn))

生活在天朝,沒有VPN昆雀,可以直接下載它的運行包辱志,直接解壓蝠筑,就可以運行了(我就是這樣做的,如果這樣揩懒,etc/profile里面的gopath這一項就不需要了)

export PATH=$PATH:/usr/local/go/bin

export PATH=$PATH:$GOPATH/bin

sudo wget ?https://bintray.com/artifact/download/chrislusf/seaweedfs/weed_0.70beta_linux_amd64.tar.gz

(https://dl.bintray.com/chrislusf/seaweedfs/weed_0.70beta_linux_amd64.tar.gz)

tar zxvf weed_0.70beta_linux_amd64.tar.gz


服務(wù)啟動:

1 進入weed的解壓目錄什乙,我的是這樣的。

root@ubuntu:~/webserver/weed_0.70beta_linux_amd64# ./weed master


注意看已球,它是啟動了一個服務(wù)臣镣,端口是9333,這是它的默認端口智亮。

2 啟動文件存儲服務(wù)

root@ubuntu:~/webserver/weed_0.70beta_linux_amd64# ./weed volume -dir="/root/webserver/weed_0.70beta_linux_amd64/data" -max=5 -mserver="localhost:9333" -port=9080 &

3 提交一個存儲請求忆某,這個時候weed先要分配一個全局的文件ID

curl -X POST http://localhost:9333/dir/assign

4 存儲一張圖片

curl -X PUT -F file=@/root/webserver/weed_0.70beta_linux_amd64/error.jpg http://127.0.0.1:9080/5,019d90e98a

5 訪問測試

因為我的服務(wù)器地址是192.168.1.47,http://192.168.1.47:9080/5,019d90e98a.jpg


甚至阔蛉,你還可以加上尺寸弃舒,動態(tài)獲取相應(yīng)圖片的大小


確實不錯♀珊觯看了以上的截圖棒坏,你會發(fā)現(xiàn)它的文件ID,至始至終都存在遭笋。這就是文件的唯一標識。其實這個ID是每3部分存在的徒探。

其中"fid":"5,019d90e98a"就是 Fid瓦呼,F(xiàn)id 由三個部分組成 【VolumeId, NeedleId, Cookie】 組成。

VolumeId: 1? ? ? ? ? 32bit? ? ? 存儲的物理卷的Id

NeedleId: 01? ? ? ? 64bit? ? ? 全局唯一NeedleId测暗,每個存儲的文件都不一樣(除了互為備份的)央串。

Cookie: 9d90e98a? ? 32bit? ? ? Cookie值,為了安全起見碗啄,防止惡意攻擊质和。

以上這些,只能說是用過curl的方式稚字,作為JAVA開發(fā)人員饲宿。還是需要封裝一個這些API,方便訪問胆描。

weed java client這是一個老外寫的瘫想,雖然代碼老了點,不過還是很不錯昌讲。準備看看国夜,拿過來用一下。

網(wǎng)上看了若干的文章

http://blogread.cn/it/article/7721

http://www.sqshi.com/a/270607.html(Bilibili的毛劍是參考了weed而寫的BFS)

不過短绸,我覺得车吹,要真正理解這個weed,還是看它的GITHUB官網(wǎng)吧筹裕。

SeaweekFS:seaweedfs

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市窄驹,隨后出現(xiàn)的幾起案子饶碘,更是在濱河造成了極大的恐慌,老刑警劉巖馒吴,帶你破解...
    沈念sama閱讀 212,454評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件扎运,死亡現(xiàn)場離奇詭異,居然都是意外死亡饮戳,警方通過查閱死者的電腦和手機豪治,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,553評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來扯罐,“玉大人负拟,你說我怎么就攤上這事〈鹾樱” “怎么了掩浙?”我有些...
    開封第一講書人閱讀 157,921評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長秸歧。 經(jīng)常有香客問我厨姚,道長,這世上最難降的妖魔是什么键菱? 我笑而不...
    開封第一講書人閱讀 56,648評論 1 284
  • 正文 為了忘掉前任谬墙,我火速辦了婚禮,結(jié)果婚禮上经备,老公的妹妹穿的比我還像新娘拭抬。我一直安慰自己,他們只是感情好侵蒙,可當我...
    茶點故事閱讀 65,770評論 6 386
  • 文/花漫 我一把揭開白布造虎。 她就那樣靜靜地躺著,像睡著了一般纷闺。 火紅的嫁衣襯著肌膚如雪算凿。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,950評論 1 291
  • 那天急但,我揣著相機與錄音澎媒,去河邊找鬼。 笑死波桩,一個胖子當著我的面吹牛戒努,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 39,090評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼储玫,長吁一口氣:“原來是場噩夢啊……” “哼侍筛!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起撒穷,我...
    開封第一講書人閱讀 37,817評論 0 268
  • 序言:老撾萬榮一對情侶失蹤匣椰,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后端礼,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體禽笑,經(jīng)...
    沈念sama閱讀 44,275評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,592評論 2 327
  • 正文 我和宋清朗相戀三年蛤奥,在試婚紗的時候發(fā)現(xiàn)自己被綠了佳镜。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,724評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡凡桥,死狀恐怖蟀伸,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情缅刽,我是刑警寧澤啊掏,帶...
    沈念sama閱讀 34,409評論 4 333
  • 正文 年R本政府宣布,位于F島的核電站衰猛,受9級特大地震影響迟蜜,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜腕侄,卻給世界環(huán)境...
    茶點故事閱讀 40,052評論 3 316
  • 文/蒙蒙 一小泉、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧冕杠,春花似錦、人聲如沸酸茴。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,815評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽薪捍。三九已至笼痹,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間酪穿,已是汗流浹背凳干。 一陣腳步聲響...
    開封第一講書人閱讀 32,043評論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留被济,地道東北人救赐。 一個月前我還...
    沈念sama閱讀 46,503評論 2 361
  • 正文 我出身青樓,卻偏偏與公主長得像只磷,于是被迫代替她去往敵國和親经磅。 傳聞我的和親對象是個殘疾皇子泌绣,可洞房花燭夜當晚...
    茶點故事閱讀 43,627評論 2 350

推薦閱讀更多精彩內(nèi)容