1.使用 cdh cloudera 發(fā)行版本 浇辜,自帶disk balancer 感猛,商業(yè)開源比 原始開源穩(wěn)定太多,而且安裝 hadoop其他組件 也比較方便奢赂,集群的監(jiān)控 和預(yù)警做的很好陪白,修改配置也比較容易,做數(shù)據(jù)冷熱 分離 組件也有擴(kuò)展膳灶, 唯一難點(diǎn) 咱士,安裝 難度大,比paddlepaddle編譯要 難轧钓,數(shù)據(jù)維護(hù)和運(yùn)維也是口碑最好 經(jīng)驗(yàn)豐富的體系 久經(jīng)考驗(yàn)序厉,免費(fèi) 版本 即可,也可以安裝 收費(fèi)版本毕箍,
2.使用 hdp hortonworks 發(fā)行版本弛房,不帶diskbalancer,現(xiàn)在最高版本支持hadoop 2.7.3, 商業(yè)開源 ambari 比原始開源穩(wěn)定而柑,使用 hadoop其他工具鏈安裝 也非常簡單文捶,也是自帶監(jiān)控和預(yù)警 荷逞,可以監(jiān)控工具鏈中的大部分組件,安裝難度 比原始hadoop 難粹排,比 cdh 簡單一些种远,hadoop現(xiàn)在也在推廣 ambari,免費(fèi)版本即可
3.安裝 hadoop 原生 3.0 顽耳,支持 disk balancer 和實(shí)時數(shù)據(jù)流分析 和糾錯碼 減少 副本存儲冗余坠敷,不過現(xiàn)在只是beta版,反映也很 良好射富,算是在2.8的基礎(chǔ)上添加了新功能膝迎,年底好像可以發(fā)布release 版本
4.集群盡量 和線上服務(wù)可以內(nèi)網(wǎng) 想ping通,而不是必須通過中轉(zhuǎn)才通 胰耗,使用中轉(zhuǎn)只是我們在正式 環(huán)境下的方式限次,細(xì)想 萬一中轉(zhuǎn)中途掛了,我們又把 外網(wǎng)關(guān)閉了宪郊,就沒有辦法了