Fayson的github： https://github.com/fayson/cdhproject
推薦關(guān)注微信公眾號(hào)：“Hadoop實(shí)操”，ID：gh_c4c535955d0f俯树，或者掃描文末二維碼榛泛。
1.組網(wǎng)配置
建議的Cloudera組網(wǎng)配置如下圖，主要包含數(shù)據(jù)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)蓖墅。
2.數(shù)據(jù)網(wǎng)絡(luò)
數(shù)據(jù)網(wǎng)絡(luò)是用于數(shù)據(jù)訪問的節(jié)點(diǎn)之間的私有集群數(shù)據(jù)互連库倘，比如在集群內(nèi)的節(jié)點(diǎn)之間移動(dòng)數(shù)據(jù)，或者將數(shù)據(jù)導(dǎo)入到CDH集群论矾。CDH集群通常會(huì)連接到企業(yè)內(nèi)部的數(shù)據(jù)網(wǎng)絡(luò)教翩。
需要2個(gè)TOR交換機(jī)：一個(gè)是用作帶外管理，一個(gè)是用于CDH的數(shù)據(jù)網(wǎng)絡(luò)贪壳。節(jié)點(diǎn)的帶外管理至少需要一個(gè)1GbE交換機(jī)饱亿。數(shù)據(jù)網(wǎng)絡(luò)的交換機(jī)一般為10GbE，具體取決于工作負(fù)載闰靴。
推薦的1GbE交換機(jī)是Lenovo RackSwitch G8052彪笼。10Gb以太網(wǎng)交換機(jī)可以提供額外的I/O帶寬，以獲得更好的性能蚂且。推薦的10GbE交換機(jī)是Lenovo System NetworkingRackSwitch 8272配猫。
每個(gè)節(jié)點(diǎn)的兩個(gè)Broadcom 10GbE端口可以綁定后連接到G8272交換機(jī)，從而提高性能或配置HA杏死。數(shù)據(jù)網(wǎng)絡(luò)可以配置為使用VLAN泵肄。
注：無論是工作節(jié)點(diǎn)還是管理節(jié)點(diǎn)捆交，Cloudera都不支持multi-homing。
3.硬件管理網(wǎng)絡(luò)
硬件管理網(wǎng)絡(luò)是用于帶外硬件管理的1 GbE網(wǎng)絡(luò)腐巢。通過System x3650 M5服務(wù)器中的集成管理模塊II（IMM2）品追，帶外管理可實(shí)現(xiàn)集群節(jié)點(diǎn)的硬件級(jí)管理，如節(jié)點(diǎn)部署冯丙，基本輸入/輸出系統(tǒng)（BIOS）配置诵盼，狀態(tài)和電源狀態(tài)。
Hadoop不依賴于IMM2银还。根據(jù)客戶要求风宁，管理鏈接可以分隔到不同的VLAN或子網(wǎng)上。 管理網(wǎng)絡(luò)通常直接連接到客戶的管理網(wǎng)絡(luò)蛹疯。
參考架構(gòu)需要一個(gè)1 Gb以太網(wǎng)TOR交換機(jī)用于硬件管理網(wǎng)絡(luò)戒财。管理員還可以通過客戶管理網(wǎng)絡(luò)訪問集群中的所有節(jié)點(diǎn)，在第一章的圖中捺弦，管理鏈路連接到集成的1 GBaseT適配器上的專用IMM2端口饮寞。
4.多機(jī)架的網(wǎng)絡(luò)
以上談到的數(shù)據(jù)網(wǎng)絡(luò)的參考架構(gòu)配置是由單個(gè)網(wǎng)絡(luò)拓?fù)錁?gòu)成的。如果是多機(jī)架的架構(gòu)列吼，還需要一個(gè)聯(lián)想RackSwitch G8316核心交換機(jī)幽崩。 在這種情況下，第二個(gè)Broadcom10 GbE端口可以連接到第二個(gè)Lenovo RackSwitch G8272寞钥。G8272的過載率（over-subscription ratio）是1：2.
下圖展示了當(dāng)CDH集群安裝在多個(gè)機(jī)架上時(shí)慌申，如何配置網(wǎng)絡(luò)。每個(gè)機(jī)架的G8272交換機(jī)通過兩個(gè)聚合的40 GbE上行鏈路連接到核心G8316交換機(jī)理郑。
注：為了簡化這個(gè)圖蹄溉，圖中僅繪制了一個(gè)G8272，但是推薦使用兩個(gè)G8272并配置為HA您炉。
跨機(jī)架的交換機(jī)推薦40GbE的柒爵，可以用Lenovo System NetworkingRackSwitch G8316。最佳實(shí)踐是為每個(gè)機(jī)架安裝冗余的核心交換機(jī)赚爵，以避免單點(diǎn)故障棉胀。在每個(gè)機(jī)架內(nèi)，G8052交換機(jī)可以選擇配置為具有兩個(gè)G8272交換機(jī)的上行鏈路冀膝，以允許通過G8316核心交換機(jī)在集群機(jī)架之間傳播管理VLAN唁奢。對(duì)于大型集群，推薦使用Lenovo System NetworkingRackSwitch G8332畸写，因?yàn)槊總€(gè)40 Gb的端口的價(jià)格比G8316要更低驮瞧。可以配置成許多機(jī)架能互相訪問網(wǎng)絡(luò)枯芬，但可能需要做一些特定的部署配置來滿足超過3個(gè)機(jī)架的快速尋址论笔。
如果開始規(guī)劃的就是多機(jī)架的解決方案采郎，或者隨著系統(tǒng)的擴(kuò)容后面慢慢的加入了一些機(jī)架，CDH管理服務(wù)相關(guān)的節(jié)點(diǎn)我們建議分開部署在不同的機(jī)架從而最大化容錯(cuò)狂魔。
5.CDH其他網(wǎng)絡(luò)要求
Hadoop網(wǎng)絡(luò)要求：
1.所有的Hadoop服務(wù)器節(jié)點(diǎn)應(yīng)該是獨(dú)有的網(wǎng)絡(luò)蒜埋，而不存在跟其他應(yīng)用程序的節(jié)點(diǎn)共享網(wǎng)絡(luò)I/O的情況。
2.每個(gè)服務(wù)器應(yīng)該都配置靜態(tài)IP最楷。如果配置了動(dòng)態(tài)IP整份，在機(jī)器重啟或者DNS租約過期時(shí)，機(jī)器的IP地址會(huì)改變籽孙，這將導(dǎo)致Hadoop服務(wù)故障烈评。
3.專用TOR交換機(jī)。
4.專用的核心交換刀片或者核心交換機(jī)犯建。
5.盡量保證應(yīng)用服務(wù)器與Hadoop“近”一些讲冠。
6.CDH只支持IPv4，不支持IPv6
7.機(jī)架之間的網(wǎng)絡(luò)連接速度應(yīng)該足夠快适瓦。
8.確保網(wǎng)絡(luò)接口對(duì)于集群中的所有節(jié)點(diǎn)應(yīng)該是一致的竿开。（比如MTU設(shè)置應(yīng)該一樣）
9.關(guān)閉所有節(jié)點(diǎn)的Huge Page compaction
10.確保集群中的所有網(wǎng)絡(luò)連接都會(huì)被監(jiān)控，比如沖突和丟包問題玻熙。以方便后期進(jìn)行排障否彩。
為天地立心，為生民立命嗦随，為往圣繼絕學(xué)列荔，為萬世開太平。
推薦關(guān)注Hadoop實(shí)操称杨，第一時(shí)間肌毅，分享更多Hadoop干貨筷转，歡迎轉(zhuǎn)發(fā)和分享姑原。
在這里插入圖片描述原創(chuàng)文章，歡迎轉(zhuǎn)載呜舒，轉(zhuǎn)載請(qǐng)注明：轉(zhuǎn)載自微信公眾號(hào)Hadoop實(shí)操
