分布式和集群01:認識分布式和集群

http://www.reibang.com/p/8e510857e23f

一榜配、為什么要集群?

A:并發(fā)處理能力有限(一般單臺服務(wù)器處理的并發(fā)量為250左右,超過250贞远,可能會出現(xiàn)數(shù)據(jù)丟失,鏈接不穩(wěn)定的情況)笨忌。因為單服務(wù)器的性能有限制蓝仲。所以單臺Tomcat的最大連接數(shù)有限制,

B:容錯率低官疲,一旦服務(wù)器故障袱结,整個服務(wù)就無法訪問了。

eBay于 1999年6月停機22小時的事故途凫,中斷了約230萬的拍賣垢夹,使eBay的股票下降了9.2個百分點。

C:單臺服務(wù)器計算能力低维费,無法完成復(fù)雜的海量數(shù)據(jù)計算果元。

二促王、什么是集群

集群是是指將多臺服務(wù)器集中在一起,每臺服務(wù)器都實現(xiàn)相同的業(yè)務(wù)而晒,做相同的事情蝇狼。
但是每臺服務(wù)器并不是缺一不可,存在的作用主要是緩解并發(fā)壓力和單點故障轉(zhuǎn)移問題倡怎。
可以利用一些廉價的符合工業(yè)標(biāo)準(zhǔn)的硬件構(gòu)造高性能的系統(tǒng)迅耘。
實現(xiàn):高擴展、高性能监署、低成本豹障、高可用!

2.1伸縮性(Scalability)
在一些大的系統(tǒng)中焦匈,預(yù)測最終用戶的數(shù)量和行為是非常困難的血公,伸縮性是指系統(tǒng)適應(yīng)不斷增長的用戶數(shù)的能力。提高這種并發(fā)會話能力的一種最直觀的方式就增加資源(CPU缓熟,內(nèi)存累魔,硬盤等),
集群是解決這個問題的另一種方式够滑,它允許一組服務(wù)器組在一起垦写,像單個服務(wù)器一樣分擔(dān)處理一個繁重的任務(wù),我們只需要將新的服務(wù)器加入集群中即可彰触,對于客戶來看梯投,服務(wù)無論從連續(xù)性還是性能上都幾乎沒有變化,好像系統(tǒng)在不知不覺中完成了升級

2.2高可用性(High availability)
單一服務(wù)器的解決方案并不是一個健壯方式况毅,因為容易出現(xiàn)單點失效分蓖。
像銀行、賬單處理這樣一些關(guān)鍵的應(yīng)用程序是不能容忍哪怕是幾分鐘的死機尔许。它們需要這樣一些服務(wù)在任何時間都可以訪問并在可預(yù)期的合理的時間周期內(nèi)有響應(yīng)么鹤。高可用性集群的出現(xiàn)是為了使集群的整體服務(wù)盡可能可用,以便考慮計算硬件和軟件的易錯性味廊。
如果高可用性集群中的主節(jié)點發(fā)生了故障蒸甜,那么這段時間內(nèi)將由次節(jié)點代替它。次節(jié)點通常是主節(jié)點的鏡像余佛,所以當(dāng)它代替主節(jié)點時柠新,它可以完全接管其身份,并且因此使系統(tǒng)環(huán)境對于用戶是一致的辉巡。

2.3負載均衡(Load balancing)
負載均衡集群為企業(yè)需求提供了更實用的系統(tǒng)恨憎。如名稱所暗示的,
該系統(tǒng)使負載可以在計算機集群中盡可能平均地分攤處理红氯。
該負載可能是需要均衡的應(yīng)用程序處理負載或網(wǎng)絡(luò)流量負載框咙。這樣的系統(tǒng)非常適合于運行同一組應(yīng)用程序的大量用戶咕痛。每個節(jié)點都可以處理一部分負載,并且可以在節(jié)點之間動態(tài)分配負載喇嘱,以實現(xiàn)平衡茉贡。

2.4高性能 (High Performance )
通常,第一種涉及為集群開發(fā)并行編程應(yīng)用程序者铜,以解決復(fù)雜的科學(xué)問題腔丧。這是并行計算的基礎(chǔ),盡管它不使用專門的并行超級計算機作烟,這種超級計算機內(nèi)部由十至上萬個獨立處理器組成愉粤。但它卻使用商業(yè)系統(tǒng),如通過高速連接來鏈接的一組單處理器或雙處理器 PC拿撩,并且在公共消息傳遞層上進行通信以運行并行應(yīng)用程序衣厘。因此,您會常常聽說又有一種便宜的 Linux 超級計算機問世了压恒。但它實際是一個計算機集群影暴,其處理能力與真的超級計算機相等

三、為什么要進行分布式

傳統(tǒng)的項目中探赫,我們將各個模塊放在一個系統(tǒng)中型宙,系統(tǒng)過于龐大,開發(fā)維護困難伦吠,各個功能模塊之間的耦合度增高妆兑,無法針對單個模塊進行優(yōu)化,也無法進行水平擴展毛仪。

四搁嗓、什么是分布式

分布式是指將多臺服務(wù)器集中在一起,
每臺服務(wù)器都實現(xiàn)總體中的不同業(yè)務(wù)潭千,做不同的事情谱姓。
并且每臺服務(wù)器都缺一不可,如果某臺服務(wù)器故障刨晴,則網(wǎng)站部分功能缺失,或?qū)е抡w無法運行路翻。
存在的主要作用是大幅度的提高效率狈癞,緩解服務(wù)器的訪問和存儲壓力。

分布式系統(tǒng).png

注意:該圖中最大特點是:每個Web服務(wù)器(Tomcat)程序都負責(zé)一個網(wǎng)站中不同的功能茂契,缺一不可蝶桶。如果某臺服務(wù)器故障,則對應(yīng)的網(wǎng)站功能缺失掉冶,也可以導(dǎo)致其依賴功能甚至全部功能都不能夠使用真竖。

五脐雪、分布式和集群的關(guān)系。

在開發(fā)中我們可以將分布式和集群分開嗎恢共?
針對這個問題战秋,我們可以根據(jù)分布式的介紹看出,其主要的功能是用了將我們的系統(tǒng)模塊化讨韭,將系統(tǒng)進行解耦的脂信,方便我們的維護和開發(fā)的,但是其并不能解決我們的并發(fā)問題透硝,也無法保證我們的系統(tǒng)在服務(wù)器宕機后的正常運轉(zhuǎn)狰闪。

而集群呢?其恰好彌補了分布式的缺陷濒生,
集群埋泵,就是多個服務(wù)器處理相同的業(yè)務(wù),這在一方面可以解決或者說改善我們系統(tǒng)的并發(fā)問題罪治,一方面可以解決我們服務(wù)器如果出現(xiàn)一定數(shù)量的宕機后丽声,系統(tǒng)仍然可以正常運轉(zhuǎn)。
因此我說规阀,分布式和集群式一堆好基友恒序,誰也離不開誰。谁撼。歧胁。。

購物商城項目分析.png
image.png

服務(wù)器最低配置:
pinyougou項目業(yè)務(wù)就需要30臺左右的服務(wù)器厉碟;
工具服務(wù)器還要加 zookeeper(3臺) redis(6臺) solr(6臺)
nginx(2臺) activemq(3臺) cas(2臺)
mysql(10臺+)
fastdfs(2臺)
一個pinyougou項目要65臺以上喊巍。

測試并發(fā)量2000-3000

(接口)單元測試,集成測試
測試服務(wù)器:保證測試環(huán)境和線上環(huán)境是一致的箍鼓。
git+maven+docker+jekins(持續(xù)集成測試環(huán)境)
svn+maven+hudson+jekins(持續(xù)集成測試環(huán)境)

c)責(zé)任描述:你干了什么崭参?
i.后臺系統(tǒng):運營商系統(tǒng)維護
1.商品管理
a)品牌管理
b)規(guī)格屬性管理
c)模版維護
d)商品類別維護
e)貨品—商品維護
2,表之間關(guān)系
3,權(quán)限—spring security實現(xiàn)安全認證
4,活動管理—秒殺活動,團購管理
5,積分管理
ii.報表
1.(今日熱銷商品,周熱銷商品,月銷售情況)
2.今日用戶活躍數(shù)
3.周用戶活躍數(shù)
4.月用戶活躍數(shù)
5.今日銷售金額
6.周銷售金額
7.月銷售金額
8.并發(fā)數(shù)統(tǒng)計
廣告管理:
1,表設(shè)計
2,廣告維護
3,廣告緩存—spring data redis
iii.Poi
iv.后臺系統(tǒng):商家系統(tǒng)維護
1.商品入駐申請
2.商品審核
3.商家商品維護
4.商品審核上架
搜索: spring data solr
1,主關(guān)鍵詞搜索
2,分類搜索
3,屬性搜索
4,價格搜索
5,品牌搜索
6,排序搜索
7,面包屑導(dǎo)航-----數(shù)據(jù)雙向綁定實現(xiàn)面包屑導(dǎo)航
8,同步索引庫
activeMQ同步索引庫
匹配生成索引庫數(shù)據(jù)
MQ同步索引庫
消息持久化
消息重發(fā)機制
連接池
頁面靜態(tài)化技術(shù): 提高訪問速度,提高并發(fā)能力
1,freemarker實現(xiàn)頁面靜態(tài)化
2,把生成頁面靜態(tài)化html直接上傳linux,實現(xiàn)動靜分離
3,linux靜態(tài)頁面使用nginx訪問,nginx作為http服務(wù)器
4,mq同步靜態(tài)頁面(業(yè)務(wù)流程)

購物車系統(tǒng):
1,未登錄
2,登錄

訂單系統(tǒng):
1,提交訂單—把購物車數(shù)據(jù)保存訂單表
2,生成訂單號
3,生成總金額

支付系統(tǒng):
微信支付

技術(shù):
1,dubbo+zookeeper實現(xiàn)面向服務(wù)分布式架構(gòu)
2,spring security 安全認證框架
3,spring data redis ---- redis服務(wù)器操作
4,spring data solr ------ solr
5,nginx
6,freemarker
7,activeMQ
8,cas 單點登錄框架
9,zookeeper
10,springboot
………

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市款咖,隨后出現(xiàn)的幾起案子何暮,更是在濱河造成了極大的恐慌,老刑警劉巖铐殃,帶你破解...
    沈念sama閱讀 219,110評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件海洼,死亡現(xiàn)場離奇詭異,居然都是意外死亡富腊,警方通過查閱死者的電腦和手機坏逢,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,443評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人是整,你說我怎么就攤上這事肖揣。” “怎么了浮入?”我有些...
    開封第一講書人閱讀 165,474評論 0 356
  • 文/不壞的土叔 我叫張陵龙优,是天一觀的道長。 經(jīng)常有香客問我舵盈,道長陋率,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,881評論 1 295
  • 正文 為了忘掉前任秽晚,我火速辦了婚禮瓦糟,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘赴蝇。我一直安慰自己菩浙,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,902評論 6 392
  • 文/花漫 我一把揭開白布句伶。 她就那樣靜靜地躺著劲蜻,像睡著了一般。 火紅的嫁衣襯著肌膚如雪考余。 梳的紋絲不亂的頭發(fā)上先嬉,一...
    開封第一講書人閱讀 51,698評論 1 305
  • 那天,我揣著相機與錄音楚堤,去河邊找鬼疫蔓。 笑死,一個胖子當(dāng)著我的面吹牛身冬,可吹牛的內(nèi)容都是我干的衅胀。 我是一名探鬼主播,決...
    沈念sama閱讀 40,418評論 3 419
  • 文/蒼蘭香墨 我猛地睜開眼酥筝,長吁一口氣:“原來是場噩夢啊……” “哼滚躯!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起嘿歌,我...
    開封第一講書人閱讀 39,332評論 0 276
  • 序言:老撾萬榮一對情侶失蹤掸掏,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后宙帝,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體阅束,經(jīng)...
    沈念sama閱讀 45,796評論 1 316
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,968評論 3 337
  • 正文 我和宋清朗相戀三年茄唐,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,110評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡沪编,死狀恐怖呼盆,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情蚁廓,我是刑警寧澤访圃,帶...
    沈念sama閱讀 35,792評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站相嵌,受9級特大地震影響腿时,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜饭宾,卻給世界環(huán)境...
    茶點故事閱讀 41,455評論 3 331
  • 文/蒙蒙 一批糟、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧看铆,春花似錦徽鼎、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,003評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至棠隐,卻和暖如春石抡,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背助泽。 一陣腳步聲響...
    開封第一講書人閱讀 33,130評論 1 272
  • 我被黑心中介騙來泰國打工啰扛, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人报咳。 一個月前我還...
    沈念sama閱讀 48,348評論 3 373
  • 正文 我出身青樓侠讯,卻偏偏與公主長得像,于是被迫代替她去往敵國和親暑刃。 傳聞我的和親對象是個殘疾皇子厢漩,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,047評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 分布式系統(tǒng)面臨的第一個問題就是數(shù)據(jù)分布,即將數(shù)據(jù)均勻地分布到多個存儲節(jié)點岩臣。另外溜嗜,為了保證可靠性和可用性,需要將數(shù)據(jù)...
    olostin閱讀 4,578評論 2 26
  • 關(guān)于Mongodb的全面總結(jié) MongoDB的內(nèi)部構(gòu)造《MongoDB The Definitive Guide》...
    中v中閱讀 31,938評論 2 89
  • feisky云計算架谎、虛擬化與Linux技術(shù)筆記posts - 1014, comments - 298, trac...
    不排版閱讀 3,855評論 0 5
  • Linux服務(wù)器集群系統(tǒng)各概念辨析 計算機集群 WEB的負載均衡炸宵、集群、高可用解決方案 計算機集群 計算機集群簡稱...
    Zhang21閱讀 3,290評論 0 18
  • 今天是歡慶的一天谷扣,我們一起慶祝國慶土全、中秋捎琐。孩子們一個個可謂精心打扮,臉上貼著小國旗裹匙,身上穿著漂亮的服飾瑞凑,手里揮舞著...
    哎喲不錯喲_5594閱讀 173評論 0 0