大數(shù)據(jù)環(huán)境搭建及zookeeper學(xué)習(xí)筆記

一蛇捌、搭建環(huán)境常用命令:

1.設(shè)置ip地址淤翔、子網(wǎng)掩碼藐石、網(wǎng)關(guān):

vim /etc/sysconfig/network-scripts/ifcfg-eth0

2.重啟網(wǎng)絡(luò)

service network restart

3.修改主機(jī)和ip地址映射關(guān)系

vim /etc/hosts

4.修改機(jī)器網(wǎng)卡設(shè)置

vim /etc/udev/rules.d/70-persistent-net.rules

5.修改主機(jī)名稱

vim /etc/sysconfig/network

6.查看防火墻iptables自動(dòng)啟動(dòng)狀態(tài):

chkconfig iptables --list

查看iptables狀態(tài):

service iptables status

開(kāi)啟/關(guān)閉iptables:

service iptables start

service iptables stop

設(shè)置iptables開(kāi)機(jī)啟動(dòng)/不啟動(dòng):

chkconfig iptables on/off

二、為用戶添加sudo權(quán)限:

首需要切換到root身份

$su -

(注意有- 绸吸,這和su是不同的婉烟,在用命令"su"的時(shí)候只是切換到root娩井,但沒(méi)有把root的環(huán)境變量傳過(guò)去,還是當(dāng)前用戶的環(huán)境變量隅很,用"su -"命令將環(huán)境變量也一起帶過(guò)去撞牢,就象和root登錄一樣)

然后

$visudo???? //切記率碾,此處沒(méi)有vi和sudo之間沒(méi)有空格

1、移動(dòng)光標(biāo)屋彪,到最后一行

2所宰、按a,進(jìn)入append模式

3畜挥、輸入

your_user_name ALL=(ALL) ?ALL

4仔粥、按Esc

5、輸入“:w”(保存文件)

6蟹但、輸入“:q”(退出)

這樣就把自己加入了sudo組躯泰,可以使用sudo命令了。

三华糖、環(huán)境變量添加方式

export?JAVA_HOME=/usr/local/jdk

export?ZOOKEEPER_HOME=/usr/local/zookeeper

export?PATH=$PATH:${ZOOKEEPER_HOME}/bin:${JAVA_HOME}/bin

每次添加一個(gè)都在PATH的最后添加麦向,添加方式是 :${PATH_HOME}/bin

四、zookeeper簡(jiǎn)介

基本概念

ZooKeeper是一個(gè)分布式的客叉,開(kāi)放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)诵竭,是Google的Chubby一個(gè)開(kāi)源的實(shí)現(xiàn),是Hadoop和Hbase的重要組件兼搏。它是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的軟件卵慰,提供的功能包括:配置維護(hù)、域名服務(wù)佛呻、分布式同步裳朋、組服務(wù)等。

ZooKeeper的目標(biāo)就是封裝好復(fù)雜易出錯(cuò)的關(guān)鍵服務(wù)吓著,將簡(jiǎn)單易用的接口和性能高效鲤嫡、功能穩(wěn)定的系統(tǒng)提供給用戶。

ZooKeeper代碼版本中夜矗,提供了分布式獨(dú)享鎖泛范、選舉、隊(duì)列的接口紊撕,代碼在zookeeper-3.4.3\src\recipes。其中分布鎖和隊(duì)列有Java和C兩個(gè)版本赡突,選舉只有Java版本对扶。

原理

ZooKeeper的基本運(yùn)轉(zhuǎn)流程:

1、選舉Leader惭缰。

2浪南、同步數(shù)據(jù)。

3漱受、選舉Leader過(guò)程中算法有很多络凿,但要達(dá)到的選舉標(biāo)準(zhǔn)是一致的。

4、Leader要具有最高的執(zhí)行ID絮记,類(lèi)似root權(quán)限摔踱。

5、集群中大多數(shù)的機(jī)器得到響應(yīng)并接受選出的Leader怨愤。

此處為一個(gè)系列文章派敷,值得學(xué)習(xí):zookeeper

一些解釋

znode是zookeeper中的一個(gè)數(shù)據(jù)節(jié)點(diǎn),znode下還可以創(chuàng)建子znode撰洗,可以理解為文件夾的構(gòu)造篮愉,一個(gè)文件夾下可以有子文件夾或者子文件。

可以理解為zookeeper提供了一種存儲(chǔ)系統(tǒng)差导,這個(gè)存儲(chǔ)系統(tǒng)里存儲(chǔ)的是znode的樹(shù)形結(jié)構(gòu)

每一個(gè)znode就是一個(gè)數(shù)據(jù)節(jié)點(diǎn)试躏,znode可以存數(shù)據(jù),也可以實(shí)現(xiàn)類(lèi)似文件夾的功能设褐,就是znode下可以創(chuàng)建子znode颠蕴,但是臨時(shí)節(jié)點(diǎn)下是不能創(chuàng)建子節(jié)點(diǎn)的。

整個(gè)集群會(huì)選舉出一個(gè)leader络断,這個(gè)leader負(fù)責(zé)處理客戶端的事務(wù)請(qǐng)求裁替,事務(wù)請(qǐng)求包括znode的創(chuàng)建、修改貌笨、刪除等弱判,follower負(fù)責(zé)處理客戶端的讀請(qǐng)求。

當(dāng)集群中的任何一個(gè)follower節(jié)點(diǎn)接收到客戶端的事務(wù)請(qǐng)求锥惋,都會(huì)轉(zhuǎn)發(fā)給leader昌腰,也就是說(shuō)整個(gè)集群只有l(wèi)eader可以處理事務(wù)請(qǐng)求,其他角色的節(jié)點(diǎn)都不能處理膀跌,當(dāng)leader處理事務(wù)請(qǐng)求的時(shí)候遭商,就要向整個(gè)集群廣播一個(gè)提議,這個(gè)提議的意思就是告訴follower你們要?jiǎng)?chuàng)建/修改/刪除一個(gè)znode捅伤,然后follower接收到leader的提議之后劫流,就會(huì)做相應(yīng)的操作,操作完成告訴leader完成了

當(dāng)leader接收到集群中的大多數(shù)follower的成功操作的回復(fù)之后丛忆,這里的大多數(shù)指的是超過(guò)集群機(jī)器數(shù)量的一半

如果有落后的follower祠汇,這些落后的follower也會(huì)從leader同步狀態(tài),保持與leader的狀態(tài)一致熄诡。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末可很,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子凰浮,更是在濱河造成了極大的恐慌我抠,老刑警劉巖苇本,帶你破解...
    沈念sama閱讀 218,204評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異菜拓,居然都是意外死亡瓣窄,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,091評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)尘惧,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)康栈,“玉大人,你說(shuō)我怎么就攤上這事喷橙∩睹矗” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,548評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵贰逾,是天一觀的道長(zhǎng)悬荣。 經(jīng)常有香客問(wèn)我,道長(zhǎng)疙剑,這世上最難降的妖魔是什么氯迂? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,657評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮言缤,結(jié)果婚禮上嚼蚀,老公的妹妹穿的比我還像新娘。我一直安慰自己管挟,他們只是感情好轿曙,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,689評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著僻孝,像睡著了一般导帝。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上穿铆,一...
    開(kāi)封第一講書(shū)人閱讀 51,554評(píng)論 1 305
  • 那天您单,我揣著相機(jī)與錄音,去河邊找鬼荞雏。 笑死虐秦,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的凤优。 我是一名探鬼主播羡疗,決...
    沈念sama閱讀 40,302評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼别洪!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起柳刮,我...
    開(kāi)封第一講書(shū)人閱讀 39,216評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤挖垛,失蹤者是張志新(化名)和其女友劉穎痒钝,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體痢毒,經(jīng)...
    沈念sama閱讀 45,661評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡送矩,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,851評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了哪替。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片栋荸。...
    茶點(diǎn)故事閱讀 39,977評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖凭舶,靈堂內(nèi)的尸體忽然破棺而出晌块,到底是詐尸還是另有隱情,我是刑警寧澤帅霜,帶...
    沈念sama閱讀 35,697評(píng)論 5 347
  • 正文 年R本政府宣布匆背,位于F島的核電站,受9級(jí)特大地震影響身冀,放射性物質(zhì)發(fā)生泄漏钝尸。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,306評(píng)論 3 330
  • 文/蒙蒙 一搂根、第九天 我趴在偏房一處隱蔽的房頂上張望珍促。 院中可真熱鬧,春花似錦剩愧、人聲如沸猪叙。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,898評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)沐悦。三九已至,卻和暖如春五督,著一層夾襖步出監(jiān)牢的瞬間藏否,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,019評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工充包, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留副签,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,138評(píng)論 3 370
  • 正文 我出身青樓基矮,卻偏偏與公主長(zhǎng)得像淆储,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子家浇,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,927評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容