HDFS(3)- 不是只有HDFS辫封,Hadoop文件系統(tǒng)全家桶

Hadoop文件系統(tǒng)全家桶

Hadoop有一個抽象的文件系統(tǒng)概念,HDFS只是其中一個實(shí)現(xiàn)檀咙。Java抽象類org.apache.hadoop.fs.FileSystem定義了Hadoop中文件系統(tǒng)的客戶端接口璃诀,該抽象類有幾個具體的實(shí)現(xiàn)劣欢。

Hadoop文件系統(tǒng)

Local

URI方案:file
Java實(shí)現(xiàn):org.apache.hadoop.fs.LocalFileSystem
描述:使用客戶端校驗(yàn)的本地磁盤文件系統(tǒng)裁良。

HDFS

URI方案:hdfs
Java實(shí)現(xiàn):org.apache.hadoop.hdfs.DistributedFileSystem
描述:Hadoop的分布式文件系統(tǒng)凿将。將HDFS設(shè)計成與MapReduce結(jié)合使用,可以實(shí)現(xiàn)高性能价脾。

WebHDFS

URI方案:Webhdfs
Java實(shí)現(xiàn):org.apache.hadoop.hdfs.web.WebHdfsFileSystem
描述:基于HTTP的文件系統(tǒng)牧抵,提供對HDFS的認(rèn)證讀/寫訪問。

Secure WebHDFS

URI方案:swebhdfs
Java實(shí)現(xiàn):org.apache.hadoop.hdfs.web.SWebHdfsFileSystem
描述:WebHDFS的HTTPS版本。

HAR

URI方案:har
Java實(shí)現(xiàn):org.apache.hadoop.fs.HarFileSystem
描述:一個構(gòu)建在其他文件系統(tǒng)上用于文件存檔的文件系統(tǒng)犀变。Hadoop存檔文件系統(tǒng)通常用于將HDFS中的多個文件打包成一個存檔文件妹孙,以減少namenode的內(nèi)存使用。使用Hadoop的achive命令來創(chuàng)建HAR文件获枝。

View

URI方案:viewfs
Java實(shí)現(xiàn):org.apache.hadoop.viewfs.ViewFileSystem
描述:針對其他Hadoop文件系統(tǒng)的客戶端掛載表蠢正。通常用于聯(lián)邦namenode創(chuàng)建掛載點(diǎn)。

FTP

URI方案:ftp
Java實(shí)現(xiàn):org.apache.hadoop.fs.ftp.FTPFileSystem
描述:由FTP服務(wù)器支持的文件系統(tǒng)省店。

S3

URI方案:S3a
Java實(shí)現(xiàn):org.apache.hadoop.fs.s3a.S3AFileSystem
描述:由Amazon S3支持的文件系統(tǒng)。

Azure

URI方案:wasb
Java實(shí)現(xiàn):org.apache.hadoop.fs.azure.NativeAzureFileSystem
描述:由Microsoft Azure支持的文件系統(tǒng)懦傍。

Swift

URI方案:swift
Java實(shí)現(xiàn):org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem
描述:由OpenStack Swift支持的文件系統(tǒng)雹舀。

接口

1. HTTP

Hadoop以Java API的方式提供文件系統(tǒng)訪問接口,非Java開發(fā)人員的應(yīng)用訪問HDFS很不方便粗俱。Hadoop中由WebHDFS協(xié)議提供的HTTP REST API則脫離了編程語言的限制说榆。但是,HTTP接口比Java客戶端要慢很多源梭。盡量不要用它來傳輸比較大的數(shù)據(jù)娱俺。

2. C語言

Hadoop提供了一個為libhdfs的C語言庫。這個C語言API和Java的API非常相似废麻,但它的開發(fā)滯后于Java API荠卷,一些新特性得不到及時的支持。

3. NFS

使用Hadoop的NFSv3網(wǎng)關(guān)可以將HDFS掛載為本地客戶端的文件系統(tǒng)烛愧。掛載后便可以使用Unix系統(tǒng)的上命令(如ls和cat)與該文件系統(tǒng)交互油宜。實(shí)際上他還是HDFS,修改文件只能通過追加的方式怜姿,不能隨機(jī)修改慎冤。

4. FUSE

用戶空間文件系統(tǒng)(FUSE),由Hadoop的Fuse-DFS模塊支持沧卢。不做解釋了蚁堤,需要請查詢維基百科。Fuse-DFS相比于3中的NFS但狭,NFS方案更優(yōu)披诗。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市立磁,隨后出現(xiàn)的幾起案子呈队,更是在濱河造成了極大的恐慌,老刑警劉巖唱歧,帶你破解...
    沈念sama閱讀 216,843評論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件宪摧,死亡現(xiàn)場離奇詭異粒竖,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)几于,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,538評論 3 392
  • 文/潘曉璐 我一進(jìn)店門蕊苗,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人孩革,你說我怎么就攤上這事岁歉。” “怎么了膝蜈?”我有些...
    開封第一講書人閱讀 163,187評論 0 353
  • 文/不壞的土叔 我叫張陵锅移,是天一觀的道長。 經(jīng)常有香客問我饱搏,道長非剃,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,264評論 1 292
  • 正文 為了忘掉前任推沸,我火速辦了婚禮备绽,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘鬓催。我一直安慰自己肺素,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,289評論 6 390
  • 文/花漫 我一把揭開白布宇驾。 她就那樣靜靜地躺著倍靡,像睡著了一般。 火紅的嫁衣襯著肌膚如雪课舍。 梳的紋絲不亂的頭發(fā)上塌西,一...
    開封第一講書人閱讀 51,231評論 1 299
  • 那天,我揣著相機(jī)與錄音筝尾,去河邊找鬼捡需。 笑死,一個胖子當(dāng)著我的面吹牛筹淫,可吹牛的內(nèi)容都是我干的站辉。 我是一名探鬼主播,決...
    沈念sama閱讀 40,116評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼损姜,長吁一口氣:“原來是場噩夢啊……” “哼庵寞!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起薛匪,我...
    開封第一講書人閱讀 38,945評論 0 275
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎脓鹃,沒想到半個月后逸尖,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,367評論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,581評論 2 333
  • 正文 我和宋清朗相戀三年娇跟,在試婚紗的時候發(fā)現(xiàn)自己被綠了岩齿。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,754評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡苞俘,死狀恐怖盹沈,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情吃谣,我是刑警寧澤乞封,帶...
    沈念sama閱讀 35,458評論 5 344
  • 正文 年R本政府宣布,位于F島的核電站岗憋,受9級特大地震影響肃晚,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜仔戈,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,068評論 3 327
  • 文/蒙蒙 一关串、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧监徘,春花似錦晋修、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,692評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至廊蜒,卻和暖如春趴拧,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背山叮。 一陣腳步聲響...
    開封第一講書人閱讀 32,842評論 1 269
  • 我被黑心中介騙來泰國打工著榴, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人屁倔。 一個月前我還...
    沈念sama閱讀 47,797評論 2 369
  • 正文 我出身青樓脑又,卻偏偏與公主長得像,于是被迫代替她去往敵國和親锐借。 傳聞我的和親對象是個殘疾皇子问麸,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,654評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 當(dāng)數(shù)據(jù)量增大到超出了單個物理計算機(jī)存儲容量時,有必要把它分開存儲在多個不同的計算機(jī)中钞翔。那些管理存儲在多個網(wǎng)絡(luò)互連的...
    單行線的旋律閱讀 1,920評論 0 7
  • 首先严卖,我們在使用前先看看HDFS是什麼?這將有助于我們是以后的運(yùn)維使用和故障排除思路的獲得布轿。 HDFS采用mast...
    W_Bousquet閱讀 4,194評論 0 2
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理哮笆,服務(wù)發(fā)現(xiàn)来颤,斷路器,智...
    卡卡羅2017閱讀 134,652評論 18 139
  • 你是無意穿堂風(fēng) 偏偏孤倨引山洪 寫在之前 首先我們用 Xshell 連接上云服務(wù)器: 密碼看群里 連接成功: 連接...
    hongXkeX閱讀 461評論 0 1
  • 10. Regular Expression Matchingdp問題是先找到狀態(tài)稠肘,這一步我找出來了福铅,然后要初始化...
    健時總向亂中忙閱讀 156評論 0 0