hadoop1.x升級2.6記錄

現(xiàn)有版本:hadoop-1.1.2

升級版本:hadoop-2.6.0

hadoop官方地址

系統(tǒng)版本:CentOS release 6.7 (Final)

JDK版本:java version "1.7.0_21" 64-Bit


Maven版本:apache-maven-3.3.3

Ant版本:apache-ant-1.9.6

其他版本:findbugs-3.0.1 ? ?protobuf-2.5.0

使用上面的軟件是為了編譯hadoop 2.6.0 (因?yàn)橐恍┍镜匕俜桨姹臼菬o法檢測到的,需要重新編譯)

具體編譯流程與軟件下載請自行尋找

Maven命令 ?mvn package -DskipTests -Pdist,native –Dtar


編譯后(hadoop-2.6)

先在1.x hadoop環(huán)境進(jìn)行備份操作

shell>hadoop dfsadmin -safemode enter

進(jìn)入安全模式

shell>hadoop?dfsadmin -saveNamespace

進(jìn)行Namespace備份

shell>hadoop dfsadmin?-safemode leave

離開安全模式

停止整個(gè)1.x集群


1.x安裝目錄下的conf文件夾下

hdfs-site.xml這個(gè)文件里面的



這個(gè)參數(shù)用于確定將HDFS文件系統(tǒng)的元信息保存在什么目錄下

要把這兩個(gè)元數(shù)據(jù)都進(jìn)行備份第美,這個(gè)備份非常重要,用于以后回滾或者提交

shell> cp -fr /download/hadoop/name1 /download/hadoop/name1.bak

shell> cp -fr /download/hadoop/name2 /download/hadoop/name2.bak

在這里把兩個(gè)元數(shù)據(jù)都已經(jīng)備份,大家有什么就備份什么喊递,按照你們的配置來進(jìn)行備份

自此hadoop1.x環(huán)境的備份與集群停止工作都已經(jīng)結(jié)束河爹,如果順利這也是它最后一次服役

這時(shí)在/etc/profile的環(huán)境變量嬉愧,該下線的都下線,但是暫時(shí)不要用hadoop2的命令來替換1的環(huán)境變量配置豁辉,不然容易造成一些未知錯(cuò)誤(別忘了讓環(huán)境變量生效:))

現(xiàn)在把1.x安裝目錄下conf文件夾里的配置文件全部拷貝到hadoop2.6配置目錄下$HADOOP2_HOME/etc/hadoop/

升級啟動(dòng)時(shí)必須使用1.x的配置文件,一點(diǎn)都不要改動(dòng)舀患,hadoop2.x的HA徽级、HA+Federation這些配置文件你可以先配置好,但是名字不能與1.x的配置文件名字相同聊浅,最好做成core-site.xml.2這種形式餐抢,以便區(qū)分

在hadoop2.6的sbin文件夾下執(zhí)行如下命令

shell> ./hadoop-daemon.sh start namenode -upgrade

這時(shí)要看日志輸出是否有錯(cuò)誤,如果有錯(cuò)誤就細(xì)致看錯(cuò)誤低匙,源碼的準(zhǔn)備也是有必要的弹澎,因?yàn)樯壍奈恼潞苌伲蠹覍懙囊捕际浅晒α鞒膛溃侵虚g失敗的過程與錯(cuò)誤的分享較少苦蒿,所以這需要你通過豐富的經(jīng)驗(yàn)通過源碼來解決錯(cuò)誤問題

我在升級時(shí)遇到了一個(gè)錯(cuò)誤

是因?yàn)槲覀児緃adoop的權(quán)限劃分有些問題,錯(cuò)誤我沒記錄渗稍,但是我通過源碼找到了問題所在佩迟,在core-site.xml(1.x配置文件,2.6時(shí)也需要添加這個(gè)配置)添加了如下配置


這個(gè)是否需要竿屹,需要看執(zhí)行上面的升級命令有無報(bào)錯(cuò)(而且要看具體錯(cuò)誤)


如果啟動(dòng)無錯(cuò)誤报强,命令執(zhí)行結(jié)束,那么你的namenode已經(jīng)升級完成了

這時(shí)要升級datanode拱燃,升級datanode較為簡單秉溉,啟動(dòng)它就好了……(2.6環(huán)境sbin文件夾下)

shell> ./hadoop-daemons.sh start datanode

此時(shí)是否啟動(dòng)了全部datanode,取決于你的slaves配置也就是說從1.x拷貝到2.6 conf下的slaves這個(gè)文件碗誉,如果是跟1.x一致的主機(jī)群(注意沒啟動(dòng)的節(jié)點(diǎn)不會進(jìn)行升級)召嘶,那么上面的命令已經(jīng)啟動(dòng)了全部datanode節(jié)點(diǎn),datanode會隨著namenode去升級

此時(shí)如果全部啟動(dòng)后(自行確認(rèn)namenode與datanode是否全部啟動(dòng))

停止集群 (下面該替換2.6的配置文件操作了)


2.6環(huán)境sbin文件夾下

shell> ./stop-dfs.sh

將所有配置文件全部升級為2.6是否選擇HA哮缺、HA+Federation請自行決定弄跌,相關(guān)配置請參照官方文檔與網(wǎng)絡(luò)文章

如果使用HA模式j(luò)ournalnode需要同步元數(shù)據(jù)(這里使用命令同步,不建議修改文件方式)

在2.6(namenode active節(jié)點(diǎn))安裝目錄下的bin執(zhí)行命令

shell> ./hdfs namenode –initializeSharedEdits

啟動(dòng)各個(gè)journalnode

這里我是在各個(gè)datanode下單獨(dú)啟動(dòng)的尝苇,啟動(dòng)命令(2.6安裝目錄sbin目錄下)

shell> ./hadoop-daemon.sh start journalnode

同步namenode元數(shù)據(jù)信息到HA節(jié)點(diǎn) (2.6安裝目錄bin目錄下)

shell> ./hdfs namenode -bootstrapStandby

啟動(dòng)namenode(namenode active節(jié)點(diǎn))

shell> ./hadoop-daemon.sh start namenode

啟動(dòng)datanode(namenode active節(jié)點(diǎn))

shell> ./hadoop-daemons.shstart datanode

全部啟動(dòng)后現(xiàn)在是沒有active節(jié)點(diǎn)的

需要手動(dòng)激活铛只,命令如下(namenode active節(jié)點(diǎn)2.6安裝目錄bin目錄下):

shell> ./hdfs haadmin -transitionToActive nn1

此時(shí)集群已經(jīng)全部啟動(dòng)埠胖,第一次啟動(dòng)時(shí)datanode需要檢查數(shù)據(jù),速度較慢淳玩,需要一定耐心

升級完畢后直撤,namenode和datanode的${dfs.data.dir}/目錄下會多出一個(gè)文件夾previous/,這是升級之前數(shù)據(jù)的備份蜕着。

如果確定升級成功谊惭,可以使用(namenode active節(jié)點(diǎn)2.6安裝目錄bin目錄下):hadoop dfsadmin -finalizeUpgrade(要在active的namenode上執(zhí)行 可以在集群啟動(dòng)時(shí)使用該命令) 最終提交升級(最終升級后無法回滾請確認(rèn)后再執(zhí)行)

確認(rèn)好升級后,可以把環(huán)境變量給修改為升級后的環(huán)境侮东,方便使用各種命令


記錄一點(diǎn)心得圈盔,歡迎大家交流mail:zhaoshuo5550@vip.qq.com

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市悄雅,隨后出現(xiàn)的幾起案子驱敲,更是在濱河造成了極大的恐慌,老刑警劉巖宽闲,帶你破解...
    沈念sama閱讀 221,635評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件众眨,死亡現(xiàn)場離奇詭異,居然都是意外死亡容诬,警方通過查閱死者的電腦和手機(jī)娩梨,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來览徒,“玉大人狈定,你說我怎么就攤上這事∠芭睿” “怎么了纽什?”我有些...
    開封第一講書人閱讀 168,083評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長躲叼。 經(jīng)常有香客問我芦缰,道長,這世上最難降的妖魔是什么枫慷? 我笑而不...
    開封第一講書人閱讀 59,640評論 1 296
  • 正文 為了忘掉前任让蕾,我火速辦了婚禮,結(jié)果婚禮上或听,老公的妹妹穿的比我還像新娘探孝。我一直安慰自己,他們只是感情好神帅,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,640評論 6 397
  • 文/花漫 我一把揭開白布再姑。 她就那樣靜靜地躺著,像睡著了一般找御。 火紅的嫁衣襯著肌膚如雪元镀。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,262評論 1 308
  • 那天霎桅,我揣著相機(jī)與錄音栖疑,去河邊找鬼。 笑死滔驶,一個(gè)胖子當(dāng)著我的面吹牛遇革,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播揭糕,決...
    沈念sama閱讀 40,833評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼萝快,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了著角?” 一聲冷哼從身側(cè)響起揪漩,我...
    開封第一講書人閱讀 39,736評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎吏口,沒想到半個(gè)月后奄容,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,280評論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡产徊,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,369評論 3 340
  • 正文 我和宋清朗相戀三年昂勒,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片舟铜。...
    茶點(diǎn)故事閱讀 40,503評論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡戈盈,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出谆刨,到底是詐尸還是另有隱情奕谭,我是刑警寧澤,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布痴荐,位于F島的核電站血柳,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏生兆。R本人自食惡果不足惜难捌,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,870評論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望鸦难。 院中可真熱鬧根吁,春花似錦、人聲如沸合蔽。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽拴事。三九已至沃斤,卻和暖如春圣蝎,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背衡瓶。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評論 1 272
  • 我被黑心中介騙來泰國打工徘公, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人哮针。 一個(gè)月前我還...
    沈念sama閱讀 48,909評論 3 376
  • 正文 我出身青樓关面,卻偏偏與公主長得像,于是被迫代替她去往敵國和親十厢。 傳聞我的和親對象是個(gè)殘疾皇子等太,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,512評論 2 359

推薦閱讀更多精彩內(nèi)容

  • 首先,我們在使用前先看看HDFS是什麼蛮放?這將有助于我們是以后的運(yùn)維使用和故障排除思路的獲得缩抡。 HDFS采用mast...
    W_Bousquet閱讀 4,204評論 0 2
  • 簡述 hadoop 集群一共有4種部署模式,詳見《hadoop 生態(tài)圈介紹》筛武。HA聯(lián)邦模式解決了單純HA模式的性能...
    mtide閱讀 12,969評論 8 20
  • 《這樣讀書就夠了》這本書是我在知識IP閱讀營讀的第三本書徘六,說實(shí)話到了我的瓶頸期内边,看不懂,記不住待锈,看不下去漠其,最終這本...
    那年花開花落閱讀 472評論 7 1
  • 從前, 一山又一山竿音, 程程復(fù)程程和屎。 一坡復(fù)一坡, 道道又道道春瞬。 有你有我柴信, 風(fēng)吹來, 即使不言語宽气, 花開整個(gè)山坡随常。...
    童姥閱讀 358評論 1 1
  • 現(xiàn)在,我的心亂亂的萄涯,不知如何平靜下來绪氛。一場新的戰(zhàn)斗就要開始了,我應(yīng)該平靜下來想想涝影,讓冷靜的思緒枣察,機(jī)警迅速的反應(yīng)代替...
    bluedream閱讀 164評論 0 1