本地java程序連接阿里云服務(wù)器Hadoop失敗

問題描述:
在阿里云服務(wù)器搭建完Hadoop環(huán)境后员帮,在服務(wù)器上用shell命令可以讀取寫入文件
在本地java程序可以連接hadoop,并創(chuàng)建路徑捞高。

Boolean result = fileSystem.mkdirs(path);

但是讀取hdfs上的文件就報(bào)錯(cuò)渣锦。

FSDataInputStream fsDataInputStream =fileSystem.open(new Path("/README.txt"));
IOUtils.copyBytes(fsDataInputStream,System.out,1024);

問題原因:
1.阿里云服務(wù)器Shell 可以正常操作泡挺,排除集群搭建和進(jìn)程沒有啟動(dòng)的問題命浴。
2.HDFS 中的文件夾和文件名都是存放在 NameNode 上贱除,操作不需要和 DataNode 通信,因此可以正常創(chuàng)建文件夾和創(chuàng)建文件說明本地和遠(yuǎn)程 NameNode 通信沒有問題碍讯。
3.那么很可能是本地和遠(yuǎn)程 DataNode 通信有問題扯躺。
4.猜測(cè)問題原因?yàn)椋何募A和文件名都是存放在 NameNode 上的,我本地可以通過公網(wǎng)訪問 NameNode录语,所以創(chuàng)建文件夾和文件都可以,但是當(dāng)我寫數(shù)據(jù)的時(shí)候虽缕,NameNode 和DataNode 是通過內(nèi)網(wǎng)通信的蒲稳,NameNode 會(huì)返回給我 DataNode 的內(nèi)網(wǎng) IP,我本地就訪問不了了江耀。
還有一種可能祥国,云服務(wù)器沒有開放 DataNode 用于數(shù)據(jù)傳輸服務(wù)端口 默認(rèn)是 50010。

解決問題:
1.構(gòu)造HDFS客戶端的時(shí)候加如下配置系宫,使 NameNode 返回 DataNode 的主機(jī)名而不是 IP

        configuration = new Configuration();
        configuration.set("dfs.client.use.datanode.hostname", "true");

2.阿里云服務(wù)器的host配置如下:
/etc/hosts

172.xx.xx.xx hadoop000

3.阿里云服務(wù)器開放50010端口

問題解決了!扩借!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市康谆,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌月洛,老刑警劉巖孽锥,帶你破解...
    沈念sama閱讀 221,820評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異唬涧,居然都是意外死亡盛撑,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,648評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門狮荔,熙熙樓的掌柜王于貴愁眉苦臉地迎上來介粘,“玉大人,你說我怎么就攤上這事受葛≠怂” “怎么了?”我有些...
    開封第一講書人閱讀 168,324評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵闰渔,是天一觀的道長铐望。 經(jīng)常有香客問我,道長督弓,這世上最難降的妖魔是什么乒验? 我笑而不...
    開封第一講書人閱讀 59,714評(píng)論 1 297
  • 正文 為了忘掉前任,我火速辦了婚禮锻全,結(jié)果婚禮上录煤,老公的妹妹穿的比我還像新娘荞胡。我一直安慰自己,他們只是感情好廊营,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,724評(píng)論 6 397
  • 文/花漫 我一把揭開白布赘风。 她就那樣靜靜地躺著纵刘,像睡著了一般荸哟。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上鞍历,一...
    開封第一講書人閱讀 52,328評(píng)論 1 310
  • 那天劣砍,我揣著相機(jī)與錄音,去河邊找鬼刑枝。 笑死,一個(gè)胖子當(dāng)著我的面吹牛装畅,可吹牛的內(nèi)容都是我干的靠娱。 我是一名探鬼主播,決...
    沈念sama閱讀 40,897評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼掠兄,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼像云!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起蚂夕,我...
    開封第一講書人閱讀 39,804評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤迅诬,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后婿牍,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體侈贷,經(jīng)...
    沈念sama閱讀 46,345評(píng)論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,431評(píng)論 3 340
  • 正文 我和宋清朗相戀三年牍汹,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了铐维。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,561評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡嫁蛇,死狀恐怖锨并,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情睬棚,我是刑警寧澤第煮,帶...
    沈念sama閱讀 36,238評(píng)論 5 350
  • 正文 年R本政府宣布,位于F島的核電站抑党,受9級(jí)特大地震影響包警,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜底靠,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,928評(píng)論 3 334
  • 文/蒙蒙 一害晦、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧暑中,春花似錦壹瘟、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,417評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至雕凹,卻和暖如春殴俱,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背枚抵。 一陣腳步聲響...
    開封第一講書人閱讀 33,528評(píng)論 1 272
  • 我被黑心中介騙來泰國打工线欲, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人俄精。 一個(gè)月前我還...
    沈念sama閱讀 48,983評(píng)論 3 376
  • 正文 我出身青樓询筏,卻偏偏與公主長得像,于是被迫代替她去往敵國和親竖慧。 傳聞我的和親對(duì)象是個(gè)殘疾皇子嫌套,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,573評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容