2019-02-20 大型網站技術架構:核心原理與案例分析

目錄

編輯

第1篇 概述

1 大型網站架構演化 2

1.1 大型網站軟件系統(tǒng)的特點 3

1.2 大型網站架構演化發(fā)展歷程 4

1.2.1 初始階段的網站架構 4

1.2.2 應用服務和數(shù)據(jù)服務分離 4

1.2.3 使用緩存改善網站性能 5

1.2.4 使用應用服務器集群改善網站的并發(fā)處理能力 6

1.2.5 數(shù)據(jù)庫讀寫分離 7

1.2.6 使用反向代理和CDN加速網站響應 8

1.2.7 使用分布式文件系統(tǒng)分布式數(shù)據(jù)庫系統(tǒng)?9

1.2.8 使用NoSQL和搜索引擎 10

1.2.9 業(yè)務拆分 11

1.2.10 分布式服務 11

1.3 大型網站架構演化的價值觀 13

1.3.1 大型網站架構技術的核心價值是隨網站所需靈活應對 13

1.3.2 驅動大型網站技術發(fā)展的主要力量是網站的業(yè)務發(fā)展 13

1.4 網站架構設計誤區(qū) 14

1.4.1 一味追隨大公司的解決方案 14

1.4.2 為了技術而技術 14

1.4.3 企圖用技術解決所有問題 14

1.5 小結 15

2 大型網站架構模式 16

2.1 網站架構模式 16

2.1.1 分層 17

2.1.2 分割 18

2.1.3 分布式 18

2.1.4 集群 19

2.1.5 緩存 20

2.1.6 異步 20

2.1.7 冗余 21

2.1.8 自動化 22

2.1.9 安全 23

2.2 架構模式在新浪微博的應用 23

2.3 小結 25

3 大型網站核心架構要素 26

3.1 性能 27

3.2 可用性 28

3.3 伸縮性 29

3.4 擴展性 30

3.5 安全性 30

3.6 小結 31

第2篇 架構

4 瞬時響應:網站的高性能架構 34

4.1 網站性能測試 35

4.1.1 不同視角下的網站性能 35

4.1.2 性能測試指標 36

4.1.3 性能測試方法 39

4.1.4 性能測試報告 41

4.1.5 性能優(yōu)化策略 41

4.2 Web前端性能優(yōu)化 42

4.2.1 瀏覽器訪問優(yōu)化 42

4.2.2 CDN加速 43

4.2.3?反向代理?44

4.3 應用服務器性能優(yōu)化 45

4.3.1 分布式緩存 45

4.3.2 異步操作 52

4.3.3 使用集群 53

4.3.4?代碼優(yōu)化?54

4.4 存儲性能優(yōu)化 58

4.4.1 機械硬盤vs.?固態(tài)硬盤?58

4.4.2?B+樹vs. LSM樹 59

4.4.3 RAID vs. HDFS 61

4.5 小結 64

5 萬無一失:網站的高可用架構 66

5.1 網站可用性的度量與考核 67

5.1.1 網站可用性度量 67

5.1.2 網站可用性考核 67

5.2 高可用的網站架構 69

5.3 高可用的應用 71

5.3.1 通過負載均衡進行無狀態(tài)服務的失效轉移 72

5.3.2 應用服務器集群Session管理 73

5.4 高可用的服務 76

5.5 高可用的數(shù)據(jù) 78

5.5.1 CAP原理 79

5.5.2 數(shù)據(jù)備份 82

5.5.3 失效轉移 84

5.6 高可用網站的軟件質量保證?85

5.6.1 網站發(fā)布 85

5.6.2?自動化測試?86

5.6.3 預發(fā)布驗證 87

5.6.4 代碼控制 88

5.6.5 自動化發(fā)布 90

5.6.6?灰度發(fā)布?91

5.7 網站運行監(jiān)控 91

5.7.1 監(jiān)控數(shù)據(jù)采集 92

5.7.2 監(jiān)控管理 93

5.8 小結 94

6 永無止境:網站的伸縮性架構 95

6.1 網站架構的伸縮性設計 97

6.1.1 不同功能進行物理分離實現(xiàn)伸縮 97

6.1.2 單一功能通過集群規(guī)模實現(xiàn)伸縮 98

6.2 應用服務器集群的伸縮性設計 99

6.2.1 HTTP重定向負載均衡?100

6.2.2 DNS域名解析負載均衡 101

6.2.3?反向代理負載均衡?102

6.2.4 IP負載均衡 103

6.2.5?數(shù)據(jù)鏈路層負載均衡 104

6.2.6 負載均衡算法 105

6.3 分布式緩存集群的伸縮性設計 106

6.3.1 Memcached分布式緩存集群的訪問模型 107

6.3.2 Memcached分布式緩存集群的伸縮性挑戰(zhàn) 107

6.3.3 分布式緩存的一致性Hash算法 109

6.4 數(shù)據(jù)存儲服務器集群的伸縮性設計 112

6.4.1 關系數(shù)據(jù)庫集群的伸縮性設計 113

6.4.2 NoSQL數(shù)據(jù)庫的伸縮性設計 117

6.5 小結 119

7 隨需應變:網站的可擴展架構 121

7.1 構建可擴展的網站架構 122

7.2 利用分布式消息隊列降低系統(tǒng)耦合性 123

7.2.1?事件驅動架構?123

7.2.2 分布式消息隊列 124

7.3 利用分布式服務打造可復用的業(yè)務平臺 126

7.3.1 Web Service與企業(yè)級分布式服務 128

7.3.2 大型網站分布式服務的需求與特點 129

7.3.3 分布式服務框架設計 130

7.4 可擴展的數(shù)據(jù)結構 131

7.5 利用開放平臺建設網站生態(tài)圈 132

7.6 小結 134

8 固若金湯:網站的安全架構 135

8.1 道高一尺魔高一丈的網站應用攻擊與防御 136

8.1.1?XSS攻擊?136

8.1.2 注入攻擊 138

8.1.3 CSRF攻擊 139

8.1.4 其他攻擊和漏洞 140

8.1.5?Web應用防火墻?141

8.1.6 網站安全漏洞掃描 142

8.2?信息加密技術及密鑰安全管理 142

8.2.1 單向散列加密 143

8.2.2?對稱加密?144

8.2.3?非對稱加密?144

8.2.4 密鑰安全管理 145

8.3 信息過濾與反垃圾 146

8.3.1 文本匹配 147

8.3.2 分類算法 148

8.3.3 黑名單 149

8.4 電子商務風險控制 150

8.4.1 風險 151

8.4.2?風控?151

8.5 小結 153

第3篇 案例

9 淘寶網的架構演化案例分析 156

9.1?淘寶網的業(yè)務發(fā)展歷程 157

9.2 淘寶網技術架構演化 158

9.3 小結 162

10?維基百科的高性能架構設計分析 163

10.1 Wikipedia網站整體架構 163

10.2 Wikipedia性能優(yōu)化策略 165

10.2.1 Wikipedia前端性能優(yōu)化 165

10.2.2 Wikipedia服務端性能優(yōu)化 166

10.2.3 Wikipedia后端性能優(yōu)化 167

11 海量分布式存儲系統(tǒng)Doris的高可用架構設計分析 169

11.1 分布式存儲系統(tǒng)的高可用架構 170

11.2 不同故障情況下的高可用解決方案 171

11.2.1 分布式存儲系統(tǒng)的故障分類 172

11.2.2 正常情況下系統(tǒng)訪問結構 172

11.2.3 瞬時故障的高可用解決方案 173

11.2.4 臨時故障的高可用解決方案 174

11.2.5 永久故障的高可用解決方案 175

12 網購秒殺系統(tǒng)架構設計案例分析 176

12.1 秒殺活動的技術挑戰(zhàn) 177

12.2 秒殺系統(tǒng)的應對策略 177

12.3 秒殺系統(tǒng)架構設計 178

12.4 小結 182

13 大型網站典型故障案例分析 183

13.1 寫日志也會引發(fā)故障 184

13.2 高并發(fā)訪問數(shù)據(jù)庫引發(fā)的故障 184

13.3 高并發(fā)情況下鎖引發(fā)的故障 185

13.4 緩存引發(fā)的故障 185

13.5 應用啟動不同步引發(fā)的故障 186

13.6 大文件讀寫獨占磁盤引發(fā)的故障 186

13.7 濫用生產環(huán)境引發(fā)的故障 187

13.8 不規(guī)范的流程引發(fā)的故障 187

13.9 不好的編程習慣引發(fā)的故障 188

13.10 小結 188

第4篇 架構師

14 架構師領導藝術?190

14.1 關注人而不是產品 191

14.2 發(fā)掘人的優(yōu)秀 191

14.3 共享美好藍圖 192

14.4 共同參與架構 193

14.5 學會妥協(xié) 194

14.6 成就他人 194

15?網站架構師職場攻略 196

15.1 發(fā)現(xiàn)問題,尋找突破 197

15.2 提出問題澈蚌,尋求支持 199

15.3 解決問題所意,達成績效 201

16 漫話網站架構師 203

16.1 按作用劃分架構師 203

16.2 按效果劃分架構師 204

16.3 按職責角色劃分架構師 205

16.4 按關注層次劃分架構師 205

16.5 按口碑劃分架構師 206

16.6 非主流方式劃分架構師 207

附錄A 大型網站架構技術一覽 208

附錄B Web開發(fā)技術發(fā)展歷程 215

后記 218

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末晨汹,一起剝皮案震驚了整個濱河市婶熬,隨后出現(xiàn)的幾起案子溜畅,更是在濱河造成了極大的恐慌炉爆,老刑警劉巖蔬浙,帶你破解...
    沈念sama閱讀 212,718評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件铝耻,死亡現(xiàn)場離奇詭異誊爹,居然都是意外死亡,警方通過查閱死者的電腦和手機瓢捉,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,683評論 3 385
  • 文/潘曉璐 我一進店門频丘,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人泡态,你說我怎么就攤上這事搂漠。” “怎么了某弦?”我有些...
    開封第一講書人閱讀 158,207評論 0 348
  • 文/不壞的土叔 我叫張陵桐汤,是天一觀的道長。 經常有香客問我靶壮,道長怔毛,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,755評論 1 284
  • 正文 為了忘掉前任腾降,我火速辦了婚禮馆截,結果婚禮上,老公的妹妹穿的比我還像新娘蜂莉。我一直安慰自己蜡娶,他們只是感情好,可當我...
    茶點故事閱讀 65,862評論 6 386
  • 文/花漫 我一把揭開白布映穗。 她就那樣靜靜地躺著窖张,像睡著了一般。 火紅的嫁衣襯著肌膚如雪蚁滋。 梳的紋絲不亂的頭發(fā)上宿接,一...
    開封第一講書人閱讀 50,050評論 1 291
  • 那天赘淮,我揣著相機與錄音,去河邊找鬼睦霎。 笑死梢卸,一個胖子當著我的面吹牛,可吹牛的內容都是我干的副女。 我是一名探鬼主播蛤高,決...
    沈念sama閱讀 39,136評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼碑幅!你這毒婦竟也來了戴陡?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 37,882評論 0 268
  • 序言:老撾萬榮一對情侶失蹤沟涨,失蹤者是張志新(化名)和其女友劉穎恤批,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體裹赴,經...
    沈念sama閱讀 44,330評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡喜庞,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,651評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了棋返。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片赋荆。...
    茶點故事閱讀 38,789評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖懊昨,靈堂內的尸體忽然破棺而出窄潭,到底是詐尸還是另有隱情,我是刑警寧澤酵颁,帶...
    沈念sama閱讀 34,477評論 4 333
  • 正文 年R本政府宣布嫉你,位于F島的核電站,受9級特大地震影響躏惋,放射性物質發(fā)生泄漏幽污。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 40,135評論 3 317
  • 文/蒙蒙 一簿姨、第九天 我趴在偏房一處隱蔽的房頂上張望距误。 院中可真熱鬧,春花似錦扁位、人聲如沸准潭。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,864評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽刑然。三九已至,卻和暖如春暇务,著一層夾襖步出監(jiān)牢的瞬間泼掠,已是汗流浹背怔软。 一陣腳步聲響...
    開封第一講書人閱讀 32,099評論 1 267
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留择镇,地道東北人挡逼。 一個月前我還...
    沈念sama閱讀 46,598評論 2 362
  • 正文 我出身青樓,卻偏偏與公主長得像腻豌,于是被迫代替她去往敵國和親家坎。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,697評論 2 351

推薦閱讀更多精彩內容