Hadoop 理解與運用(二)

java編寫hdfs程序

1、hdfs系統(tǒng)會把用到的數(shù)據(jù)存儲在core-site.xml中由hadoop.tmp.dir指定叫乌,而這個值默認(rèn)位于/tmp/hadoop-${user.name}下面踩衩, 由于/tmp目錄在系統(tǒng)重啟時候會被刪除嚼鹉,所以應(yīng)該修改目錄位置。 修改core-site.xml(在所有站點上都修改)

1 <property>
2      <name>hadoop.tmp.dir</name>
3      <value>/var/hadoop</value>
4 </property>

2驱富、通過hdfs namenode -format (格式化Hadoop文件系統(tǒng))

hdfs namenode -format

3锚赤、通過java程序訪問hdfs,就把HDFS集群當(dāng)成一個大的系統(tǒng)磁盤就行了.
4萌朱、windows上的權(quán)限系統(tǒng)和linux上的權(quán)限系統(tǒng)宴树,測試期間為了簡單起見可以關(guān)閉權(quán)限檢查 在namenode的hdfs-site.xml上,添加配置:

1 <property>
2       <name>dfs.permissions.enabled</name>
3       <value>false</value>
4       </property>

5晶疼、重新啟動namenode:

hadoop-daemon.sh stop namenode
hadoop-daemon.sh start namenode

6酒贬、從HDFS中讀取文件

1 URL.setURLStreamHandlerFactory(newFsUrlStreamHandlerFactory());
2 InputStream in =newURL(
 "[hdfs://192.168.56.100:9000/test.data]
  (hdfs://192.168.56.100:9000/test.data)"
  ).openStream();
3 IOUtils.copyBytes(in, System.out,4096,true);
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末又憨,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子锭吨,更是在濱河造成了極大的恐慌蠢莺,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,576評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件零如,死亡現(xiàn)場離奇詭異躏将,居然都是意外死亡,警方通過查閱死者的電腦和手機考蕾,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,515評論 3 399
  • 文/潘曉璐 我一進(jìn)店門祸憋,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人肖卧,你說我怎么就攤上這事蚯窥。” “怎么了塞帐?”我有些...
    開封第一講書人閱讀 168,017評論 0 360
  • 文/不壞的土叔 我叫張陵拦赠,是天一觀的道長。 經(jīng)常有香客問我葵姥,道長荷鼠,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,626評論 1 296
  • 正文 為了忘掉前任榔幸,我火速辦了婚禮允乐,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘牡辽。我一直安慰自己喳篇,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 68,625評論 6 397
  • 文/花漫 我一把揭開白布态辛。 她就那樣靜靜地躺著麸澜,像睡著了一般。 火紅的嫁衣襯著肌膚如雪奏黑。 梳的紋絲不亂的頭發(fā)上炊邦,一...
    開封第一講書人閱讀 52,255評論 1 308
  • 那天,我揣著相機與錄音熟史,去河邊找鬼馁害。 笑死,一個胖子當(dāng)著我的面吹牛蹂匹,可吹牛的內(nèi)容都是我干的碘菜。 我是一名探鬼主播,決...
    沈念sama閱讀 40,825評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼忍啸!你這毒婦竟也來了仰坦?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,729評論 0 276
  • 序言:老撾萬榮一對情侶失蹤计雌,失蹤者是張志新(化名)和其女友劉穎悄晃,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體凿滤,經(jīng)...
    沈念sama閱讀 46,271評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡妈橄,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,363評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了翁脆。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片眷蚓。...
    茶點故事閱讀 40,498評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖反番,靈堂內(nèi)的尸體忽然破棺而出溪椎,到底是詐尸還是另有隱情,我是刑警寧澤恬口,帶...
    沈念sama閱讀 36,183評論 5 350
  • 正文 年R本政府宣布,位于F島的核電站沼侣,受9級特大地震影響祖能,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜蛾洛,卻給世界環(huán)境...
    茶點故事閱讀 41,867評論 3 333
  • 文/蒙蒙 一养铸、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧轧膘,春花似錦钞螟、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,338評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至蟆淀,卻和暖如春拯啦,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背熔任。 一陣腳步聲響...
    開封第一講書人閱讀 33,458評論 1 272
  • 我被黑心中介騙來泰國打工褒链, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人疑苔。 一個月前我還...
    沈念sama閱讀 48,906評論 3 376
  • 正文 我出身青樓甫匹,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子兵迅,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,507評論 2 359

推薦閱讀更多精彩內(nèi)容