hadoop 版本 調(diào)研

1.使用 cdh cloudera 發(fā)行版本 浇辜,自帶disk balancer 感猛,商業(yè)開源比 原始開源穩(wěn)定太多,而且安裝 hadoop其他組件 也比較方便奢赂,集群的監(jiān)控 和預(yù)警做的很好陪白,修改配置也比較容易,做數(shù)據(jù)冷熱 分離 組件也有擴(kuò)展膳灶, 唯一難點(diǎn) 咱士,安裝 難度大,比paddlepaddle編譯要 難轧钓,數(shù)據(jù)維護(hù)和運(yùn)維也是口碑最好 經(jīng)驗(yàn)豐富的體系 久經(jīng)考驗(yàn)序厉,免費(fèi) 版本 即可,也可以安裝 收費(fèi)版本毕箍,

2.使用 hdp hortonworks 發(fā)行版本弛房,不帶diskbalancer,現(xiàn)在最高版本支持hadoop 2.7.3, 商業(yè)開源 ambari 比原始開源穩(wěn)定而柑,使用 hadoop其他工具鏈安裝 也非常簡單文捶,也是自帶監(jiān)控和預(yù)警 荷逞,可以監(jiān)控工具鏈中的大部分組件,安裝難度 比原始hadoop 難粹排,比 cdh 簡單一些种远,hadoop現(xiàn)在也在推廣 ambari,免費(fèi)版本即可

3.安裝 hadoop 原生 3.0 顽耳,支持 disk balancer 和實(shí)時數(shù)據(jù)流分析 和糾錯碼 減少 副本存儲冗余坠敷,不過現(xiàn)在只是beta版,反映也很 良好射富,算是在2.8的基礎(chǔ)上添加了新功能膝迎,年底好像可以發(fā)布release 版本

4.集群盡量 和線上服務(wù)可以內(nèi)網(wǎng) 想ping通,而不是必須通過中轉(zhuǎn)才通 胰耗,使用中轉(zhuǎn)只是我們在正式 環(huán)境下的方式限次,細(xì)想 萬一中轉(zhuǎn)中途掛了,我們又把 外網(wǎng)關(guān)閉了宪郊,就沒有辦法了

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末掂恕,一起剝皮案震驚了整個濱河市拖陆,隨后出現(xiàn)的幾起案子弛槐,更是在濱河造成了極大的恐慌,老刑警劉巖依啰,帶你破解...
    沈念sama閱讀 218,682評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件乎串,死亡現(xiàn)場離奇詭異,居然都是意外死亡速警,警方通過查閱死者的電腦和手機(jī)叹誉,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,277評論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來闷旧,“玉大人长豁,你說我怎么就攤上這事∶ψ疲” “怎么了匠襟?”我有些...
    開封第一講書人閱讀 165,083評論 0 355
  • 文/不壞的土叔 我叫張陵,是天一觀的道長该园。 經(jīng)常有香客問我酸舍,道長,這世上最難降的妖魔是什么里初? 我笑而不...
    開封第一講書人閱讀 58,763評論 1 295
  • 正文 為了忘掉前任啃勉,我火速辦了婚禮,結(jié)果婚禮上双妨,老公的妹妹穿的比我還像新娘淮阐。我一直安慰自己叮阅,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,785評論 6 392
  • 文/花漫 我一把揭開白布枝嘶。 她就那樣靜靜地躺著帘饶,像睡著了一般。 火紅的嫁衣襯著肌膚如雪群扶。 梳的紋絲不亂的頭發(fā)上及刻,一...
    開封第一講書人閱讀 51,624評論 1 305
  • 那天,我揣著相機(jī)與錄音竞阐,去河邊找鬼缴饭。 笑死,一個胖子當(dāng)著我的面吹牛骆莹,可吹牛的內(nèi)容都是我干的颗搂。 我是一名探鬼主播,決...
    沈念sama閱讀 40,358評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼幕垦,長吁一口氣:“原來是場噩夢啊……” “哼丢氢!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起先改,我...
    開封第一講書人閱讀 39,261評論 0 276
  • 序言:老撾萬榮一對情侶失蹤疚察,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后仇奶,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體貌嫡,經(jīng)...
    沈念sama閱讀 45,722評論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,900評論 3 336
  • 正文 我和宋清朗相戀三年该溯,在試婚紗的時候發(fā)現(xiàn)自己被綠了岛抄。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,030評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡狈茉,死狀恐怖夫椭,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情氯庆,我是刑警寧澤蹭秋,帶...
    沈念sama閱讀 35,737評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站点晴,受9級特大地震影響感凤,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜粒督,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,360評論 3 330
  • 文/蒙蒙 一陪竿、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦族跛、人聲如沸闰挡。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,941評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽长酗。三九已至,卻和暖如春桐绒,著一層夾襖步出監(jiān)牢的瞬間夺脾,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,057評論 1 270
  • 我被黑心中介騙來泰國打工茉继, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留咧叭,地道東北人。 一個月前我還...
    沈念sama閱讀 48,237評論 3 371
  • 正文 我出身青樓烁竭,卻偏偏與公主長得像菲茬,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子派撕,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,976評論 2 355

推薦閱讀更多精彩內(nèi)容