Hadoop源碼學(xué)習(xí)——啟動(dòng)HDFS(2)

這里,我們省略hadoop源碼導(dǎo)入eclipse的過(guò)程。
在上一篇我們尋找main()函數(shù)的文章,我們可以看到疾就,腳本文件啟動(dòng)hdfs的過(guò)程分兩步,見(jiàn)下圖:

start hdfs.jpeg

先啟動(dòng)namenode艺蝴, 再啟動(dòng)datanodes猬腰。注意,在注釋中指出的猜敢,如果先啟動(dòng)datanode姑荷,datanode就會(huì)向log中寫入連接錯(cuò)誤直到namenodes被啟動(dòng)盒延。這說(shuō)明,datanode和namenode之間存在通信聯(lián)系鼠冕。這里就有通信方面的源碼實(shí)現(xiàn)可以研究添寺。我們暫且先不看這一塊。
當(dāng)然懈费,這是腳本的啟動(dòng)過(guò)程计露。我們需要在hadoop的源碼中啟動(dòng),但是要按照先啟動(dòng)namenode后啟動(dòng)datanode的順序憎乙。

在hadoop源碼的工程目錄下(Hadoop部分核心源碼已經(jīng)被導(dǎo)入eclipse)票罐,找到org/apache/hadoop/hdfs/server/namenode/NameNode.java文件,并運(yùn)行run configurations寨闹。第一次運(yùn)行需要-format參數(shù)胶坠,之后君账,就不需要其它參數(shù)繁堡,直接運(yùn)行即可。

namenode正常啟動(dòng)后

接著運(yùn)行datanode乡数,目錄org/apache/hadoop/hdfs/server/datanode/DataNode.java椭蹄。正常來(lái)說(shuō),不需要其它參數(shù)净赴,直接運(yùn)行即可绳矩。但是,我在運(yùn)行過(guò)程中遇到了一個(gè)錯(cuò)誤:
WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /Users/wuyi/Downloads/hadoop-1.2.1/tmp/dfs, expected: rwxr-xr-x, while actual: rwxrwxrwx
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
我的錯(cuò)誤記錄忘記截圖了玖翅,這個(gè)是我在網(wǎng)上找的翼馆,一模一樣的。大概意思就是說(shuō)金度,文件權(quán)限不對(duì)应媚。
然后,我就根據(jù)調(diào)用的層次猜极,又開(kāi)始順藤摸瓜中姜,把hadoop默認(rèn)的文件權(quán)限改成了777。


修改權(quán)限為777

發(fā)現(xiàn)還是有問(wèn)題跟伏。丢胚。。然后繼續(xù)順藤摸瓜受扳,(從DataNode.java)直到DataStorage.java中下面這個(gè)地方:

修改datanode的啟動(dòng)方式

我把startOpt(估計(jì)是datanode啟動(dòng)方式)改成FORMAT携龟,datanode就奇跡般的可以正常啟動(dòng)了。然后勘高,我又改回原來(lái)的REGULAR峡蟋,datanode也可以正常啟動(dòng)了浮定。至于原因,我在截圖里做了猜測(cè)(datanode第一次啟動(dòng)可能也需要format)层亿。這時(shí)候桦卒,再把默認(rèn)權(quán)限改成755,也沒(méi)有問(wèn)題了匿又。
至此hdfs就成功啟動(dòng)了方灾。

為了驗(yàn)證hdfs已經(jīng)成功啟動(dòng),我們?cè)趆dfs的根目錄下創(chuàng)建一個(gè)test目錄碌更。從上一篇文章中裕偿,我們知道,在命令行里fs的操作都從rg.apache.hadoop.fs.FsShell這個(gè)入口進(jìn)痛单。我們?cè)趀clipse中找到這個(gè)入口嘿棘,然后在run configurations里給參數(shù) -mkidr /test。
然后我們?cè)儆?ls /檢驗(yàn)旭绒,運(yùn)行帶參數(shù)-ls /的FsShell:

給定參數(shù)-ls /

然后鸟妙,我們?cè)诳刂婆_(tái)上可以看到:

在hdfs上創(chuàng)建的test目錄

由此,我們得到了驗(yàn)證挥吵。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末重父,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子忽匈,更是在濱河造成了極大的恐慌房午,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,311評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件丹允,死亡現(xiàn)場(chǎng)離奇詭異郭厌,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)雕蔽,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,339評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門折柠,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人萎羔,你說(shuō)我怎么就攤上這事液走。” “怎么了贾陷?”我有些...
    開(kāi)封第一講書(shū)人閱讀 152,671評(píng)論 0 342
  • 文/不壞的土叔 我叫張陵缘眶,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我髓废,道長(zhǎng)巷懈,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,252評(píng)論 1 279
  • 正文 為了忘掉前任慌洪,我火速辦了婚禮顶燕,結(jié)果婚禮上凑保,老公的妹妹穿的比我還像新娘。我一直安慰自己涌攻,他們只是感情好欧引,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,253評(píng)論 5 371
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著恳谎,像睡著了一般芝此。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上因痛,一...
    開(kāi)封第一講書(shū)人閱讀 49,031評(píng)論 1 285
  • 那天婚苹,我揣著相機(jī)與錄音,去河邊找鬼鸵膏。 笑死膊升,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的谭企。 我是一名探鬼主播廓译,決...
    沈念sama閱讀 38,340評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼赞咙!你這毒婦竟也來(lái)了责循?” 一聲冷哼從身側(cè)響起糟港,我...
    開(kāi)封第一講書(shū)人閱讀 36,973評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤攀操,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后秸抚,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體速和,經(jīng)...
    沈念sama閱讀 43,466評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,937評(píng)論 2 323
  • 正文 我和宋清朗相戀三年剥汤,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了颠放。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,039評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡吭敢,死狀恐怖碰凶,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情鹿驼,我是刑警寧澤欲低,帶...
    沈念sama閱讀 33,701評(píng)論 4 323
  • 正文 年R本政府宣布,位于F島的核電站畜晰,受9級(jí)特大地震影響砾莱,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜凄鼻,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,254評(píng)論 3 307
  • 文/蒙蒙 一腊瑟、第九天 我趴在偏房一處隱蔽的房頂上張望聚假。 院中可真熱鬧,春花似錦闰非、人聲如沸膘格。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,259評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)闯袒。三九已至,卻和暖如春游岳,著一層夾襖步出監(jiān)牢的瞬間政敢,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,485評(píng)論 1 262
  • 我被黑心中介騙來(lái)泰國(guó)打工胚迫, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留喷户,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,497評(píng)論 2 354
  • 正文 我出身青樓访锻,卻偏偏與公主長(zhǎng)得像褪尝,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子期犬,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,786評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容