I/O優(yōu)化
- 增加緩存派桩,減少磁盤的訪問次數(shù)涡真。
- 優(yōu)化磁盤的管理系統(tǒng),設(shè)計(jì)最優(yōu)的磁盤方式策略孵淘,以及磁盤的尋址策略瞧挤,這是在底層操作系統(tǒng)層面考慮的婚温。
- 設(shè)計(jì)合理的磁盤存儲(chǔ)數(shù)據(jù)塊描焰,以及訪問這些數(shù)據(jù)庫(kù)的策略,這是在應(yīng)用層面考慮的栅螟。例如栈顷,我們可以給存放的數(shù)據(jù)設(shè)計(jì)索引,通過尋址索引來加快和減少磁盤的訪問量嵌巷,還可以采用異步和非阻塞的方式加快磁盤的訪問速度。
- 應(yīng)用合理的RAID策略提升磁盤I/O室抽。
Web前端調(diào)優(yōu)
- 減少網(wǎng)絡(luò)交互的次數(shù)(多次請(qǐng)求合并)
- 減少網(wǎng)絡(luò)傳輸數(shù)據(jù)量的大小(壓縮)
- 盡量減少編碼(盡量提前將字符轉(zhuǎn)化為字節(jié)搪哪,或者減少?gòu)淖址阶止?jié)的轉(zhuǎn)化過程。)
- 使用瀏覽器緩存
- 減少Cookie傳輸
- 合理布局頁(yè)面
- 使用頁(yè)面壓縮
- 延遲加載頁(yè)面
- CSS在最上面坪圾,JS在最下面
- CDN
- 反向代理
- 頁(yè)面靜態(tài)化
- 異地部署
服務(wù)降級(jí)(自動(dòng)優(yōu)雅降級(jí))
拒絕服務(wù)和關(guān)閉服務(wù)
冪等性設(shè)計(jì)
有些服務(wù)天然具有冪等性晓折,比如講用戶性別設(shè)置為男性惑朦,不管設(shè)置多少次,結(jié)果都一樣漓概。但是對(duì)轉(zhuǎn)賬交易等操作漾月,問題就會(huì)比較復(fù)雜,需要通過交易編號(hào)等信息進(jìn)行服務(wù)調(diào)用有效性校驗(yàn)胃珍,只有有效的操作才能繼續(xù)執(zhí)行梁肿。
(注:冪等性是系統(tǒng)的接口對(duì)外一種承諾(而不是實(shí)現(xiàn)), 承諾只要調(diào)用接口成功, 外部多次調(diào)用對(duì)系統(tǒng)的影響是一致的. 聲明為冪等的接口會(huì)認(rèn)為外部調(diào)用失敗是常態(tài), 并且失敗之后必然會(huì)有重試.)
失效轉(zhuǎn)移
若數(shù)據(jù)服務(wù)器集群中任何一臺(tái)服務(wù)器宕機(jī),那么應(yīng)用程序針對(duì)這臺(tái)服務(wù)器的所有讀寫操作都需要重新路由到其他服務(wù)器觅彰,保證數(shù)據(jù)訪問不會(huì)失敗吩蔑,這個(gè)過程叫失效轉(zhuǎn)移。
失效轉(zhuǎn)移包括:失效確認(rèn)(心跳檢測(cè)和應(yīng)用程序訪問失敗報(bào)告)填抬、訪問轉(zhuǎn)移烛芬、數(shù)據(jù)恢復(fù)。
失效轉(zhuǎn)移保證當(dāng)一個(gè)數(shù)據(jù)副本不可訪問時(shí)飒责,可以快速切換訪問數(shù)據(jù)的其他副本赘娄,保證系統(tǒng)可用。
性能優(yōu)化
根據(jù)網(wǎng)站分層架構(gòu),性能優(yōu)化可分為:web前端性能優(yōu)化宏蛉、應(yīng)用服務(wù)器性能優(yōu)化遣臼、存儲(chǔ)服務(wù)器性能優(yōu)化。
- Web前端性能優(yōu)化
- 瀏覽器訪問優(yōu)化:減少http請(qǐng)求;使用瀏覽器緩存;啟用壓縮;css放在頁(yè)面最上面檐晕、javaScript放在頁(yè)面最下面;減少Cookie傳輸
- CDN加速
- 反向代理
應(yīng)用服務(wù)器性能優(yōu)化
分布式緩存(Redis等)
異步操作(消息隊(duì)列)
使用集群(負(fù)載均衡)
代碼優(yōu)化
存儲(chǔ)性能優(yōu)化
機(jī)械硬盤vs固態(tài)硬盤
B+樹 vs LSM樹
RAID vs HDFS
代碼優(yōu)化
多線程(Q:怎么確保線程安全暑诸?無鎖機(jī)制有哪些?)
資源復(fù)用(單例模式辟灰,連接池个榕,線程池)
數(shù)據(jù)結(jié)構(gòu)
垃圾回收
負(fù)載均衡
- HTTP重定向負(fù)載均衡
當(dāng)用戶發(fā)來請(qǐng)求的時(shí)候,Web服務(wù)器通過修改HTTP響應(yīng)頭中的Location標(biāo)記來返回一個(gè)新的url芥喇,然后瀏覽器再繼續(xù)請(qǐng)求這個(gè)新url西采,實(shí)際上就是頁(yè)面重定向。通過重定向继控,來達(dá)到“負(fù)載均衡”的目標(biāo)械馆。例如,我們?cè)谙螺dPHP源碼包的時(shí)候武通,點(diǎn)擊下載鏈接時(shí)霹崎,為了解決不同國(guó)家和地域下載速度的問題,它會(huì)返回一個(gè)離我們近的下載地址冶忱。重定向的HTTP返回碼是302尾菇。
- 優(yōu)點(diǎn):比較簡(jiǎn)單。
- 缺點(diǎn):瀏覽器需要兩次請(qǐng)求服務(wù)器才能完成一次訪問,性能較差派诬。重定向服務(wù)自身的處理能力有可能成為瓶頸劳淆,整個(gè)集群的伸縮性國(guó)模有限;使用HTTP302響應(yīng)碼重定向默赂,有可能使搜索引擎判斷為SEO作弊沛鸵,降低搜索排名。
- DNS域名解析負(fù)載均衡
DNS(Domain Name System)負(fù)責(zé)域名解析的服務(wù)缆八,域名url實(shí)際上是服務(wù)器的別名曲掰,實(shí)際映射是一個(gè)IP地址,解析過程耀里,就是DNS完成域名到IP的映射蜈缤。而一個(gè)域名是可以配置成對(duì)應(yīng)多個(gè)IP的。因此冯挎,DNS也就可以作為負(fù)載均衡服務(wù)底哥。
事實(shí)上,大型網(wǎng)站總是部分使用DNS域名解析房官,利用域名解析作為第一級(jí)負(fù)載均衡手段趾徽,即域名解析得到的一組服務(wù)器并不是實(shí)際提供Web服務(wù)的物理服務(wù)器,而是同樣提供負(fù)載均衡服務(wù)的內(nèi)部服務(wù)器翰守,這組內(nèi)部負(fù)載均衡服務(wù)器再進(jìn)行負(fù)載均衡孵奶,將請(qǐng)求分發(fā)到真是的Web服務(wù)器上。
- 優(yōu)點(diǎn):將負(fù)載均衡的工作轉(zhuǎn)交給DNS蜡峰,省掉了網(wǎng)站管理維護(hù)負(fù)載均衡服務(wù)器的麻煩了袁,同時(shí)許多DNS還支持基于地理位置的域名解析,即會(huì)將域名解析成舉例用戶地理最近的一個(gè)服務(wù)器地址湿颅,這樣可以加快用戶訪問速度载绿,改善性能。
- 缺點(diǎn):不能自由定義規(guī)則油航,而且變更被映射的IP或者機(jī)器故障時(shí)很麻煩崭庸,還存在DNS生效延遲的問題。而且DNS負(fù)載均衡的控制權(quán)在域名服務(wù)商那里谊囚,網(wǎng)站無法對(duì)其做更多改善和更強(qiáng)大的管理怕享。
- 反向代理負(fù)載均衡
反向代理服務(wù)可以緩存資源以改善網(wǎng)站性能。實(shí)際上镰踏,在部署位置上函筋,反向代理服務(wù)器處于Web服務(wù)器前面(這樣才可能緩存Web相應(yīng),加速訪問)奠伪,這個(gè)位置也正好是負(fù)載均衡服務(wù)器的位置驻呐,所以大多數(shù)反向代理服務(wù)器同時(shí)提供負(fù)載均衡的功能灌诅,管理一組Web服務(wù)器,將請(qǐng)求根據(jù)負(fù)載均衡算法轉(zhuǎn)發(fā)到不同的Web服務(wù)器上含末。Web服務(wù)器處理完成的響應(yīng)也需要通過反向代理服務(wù)器返回給用戶。由于web服務(wù)器不直接對(duì)外提供訪問即舌,因此Web服務(wù)器不需要使用外部ip地址佣盒,而反向代理服務(wù)器則需要配置雙網(wǎng)卡和內(nèi)部外部?jī)商譏P地址。
- 優(yōu)點(diǎn):和反向代理服務(wù)器功能集成在一起顽聂,部署簡(jiǎn)單肥惭。
- 缺點(diǎn):反向代理服務(wù)器是所有請(qǐng)求和響應(yīng)的中轉(zhuǎn)站,其性能可能會(huì)成為瓶頸紊搪。
- LVS-NAT:修改IP地址
LVS-TUN: 一個(gè)IP報(bào)文封裝在另一個(gè)IP報(bào)文的技術(shù)蜜葱。
LVS-DR:將數(shù)據(jù)幀的MAC地址改為選出服務(wù)器的MAC地址,再將修改后的數(shù)據(jù)幀在與服務(wù)器組的局域網(wǎng)上發(fā)送耀石。
緩存
緩存就是將數(shù)據(jù)存放在距離計(jì)算最近的位置以加快處理速度牵囤。緩存是改善軟件性能的第一手段,現(xiàn)在CPU越來越快的一個(gè)重要因素就是使用了更多的緩存滞伟,在復(fù)雜的軟件設(shè)計(jì)中揭鳞,緩存幾乎無處不在。大型網(wǎng)站架構(gòu)設(shè)計(jì)在很多方面都使用了緩存設(shè)計(jì)梆奈。
CDN: 及內(nèi)容分發(fā)網(wǎng)絡(luò)野崇,部署在距離終端用戶最近的網(wǎng)絡(luò)服務(wù)商,用戶的網(wǎng)絡(luò)請(qǐng)求總是先到達(dá)他的網(wǎng)絡(luò)服務(wù)商哪里亩钟,在這里緩存網(wǎng)站的一些靜態(tài)資源(較少變化的數(shù)據(jù))乓梨,可以就近以最快速度返回給用戶,如視頻網(wǎng)站和門戶網(wǎng)站會(huì)將用戶訪問量大的熱點(diǎn)內(nèi)容緩存在CDN中清酥。
反向代理:反向代理屬于網(wǎng)站前端架構(gòu)的一部分扶镀,部署在網(wǎng)站的前端,當(dāng)用戶請(qǐng)求到達(dá)網(wǎng)站的數(shù)據(jù)中心時(shí)总处,最先訪問到的就是反向代理服務(wù)器狈惫,這里緩存網(wǎng)站的靜態(tài)資源,無需將請(qǐng)求繼續(xù)轉(zhuǎn)發(fā)給應(yīng)用服務(wù)器就能返回給用戶鹦马。
本地緩存:在應(yīng)用服務(wù)器本地緩存著熱點(diǎn)數(shù)據(jù)胧谈,應(yīng)用程序可以在本機(jī)內(nèi)存中直接訪問數(shù)據(jù),而無需訪問數(shù)據(jù)庫(kù)荸频。
分布式緩存:大型網(wǎng)站的數(shù)據(jù)量非常龐大菱肖,即使只緩存一小部分,需要的內(nèi)存空間也不是單機(jī)能承受的旭从,所以除了本地緩存稳强,還需要分布式緩存场仲,將數(shù)據(jù)緩存在一個(gè)專門的分布式緩存集群中,應(yīng)用程序通過網(wǎng)絡(luò)通信訪問緩存數(shù)據(jù)退疫。
使用緩存有兩個(gè)前提條件:
一是數(shù)據(jù)訪問熱點(diǎn)不均衡渠缕,某些數(shù)據(jù)會(huì)被更頻繁的訪問,這些數(shù)據(jù)應(yīng)該放在緩存中褒繁;
二是數(shù)據(jù)在某個(gè)時(shí)間段內(nèi)有效亦鳞,不會(huì)很快過期,否則緩存的數(shù)據(jù)就會(huì)因已經(jīng)失效而產(chǎn)生臟讀棒坏,影響結(jié)果的正確性燕差。
網(wǎng)站應(yīng)用中,緩存處理可以加快數(shù)據(jù)訪問速度坝冕,還可以減輕后端應(yīng)用和數(shù)據(jù)存儲(chǔ)的負(fù)載壓力徒探,這一點(diǎn)對(duì)網(wǎng)站數(shù)據(jù)庫(kù)架構(gòu)至關(guān)重要,網(wǎng)站數(shù)據(jù)庫(kù)幾乎都是按照有緩存的前提進(jìn)行負(fù)載能力設(shè)計(jì)的喂窟。
負(fù)載均衡算法
輪詢 Round Robin
加強(qiáng)輪詢 Weight Round Robin
隨機(jī) Random
加強(qiáng)隨機(jī) Weight Random
最少連接 Least Connections
加強(qiáng)最少連接
源地址散列 Hash
其他算法
- 最快算法(Fastest):傳遞連接給那些響應(yīng)最快的服務(wù)器测暗。當(dāng)其中某個(gè)服務(wù)器發(fā)生第二到第7 層的故障,BIG-IP 就把其從服務(wù)器隊(duì)列中拿出谎替,不參加下一次的用戶請(qǐng)求的分配偷溺,直到其恢復(fù)正常。
- 觀察算法(Observed):連接數(shù)目和響應(yīng)時(shí)間以這兩項(xiàng)的最佳平衡為依據(jù)為新的請(qǐng)求選擇服務(wù)器钱贯。當(dāng)其中某個(gè)服務(wù)器發(fā)生第二到第7 層的故障挫掏,BIG-IP就把其從服務(wù)器隊(duì)列中拿出,不參加下一次的用戶請(qǐng)求的分配秩命,直到其恢復(fù)正常尉共。
- 預(yù)測(cè)算法(Predictive):BIG-IP利用收集到的服務(wù)器當(dāng)前的性能指標(biāo),進(jìn)行預(yù)測(cè)分析弃锐,選擇一臺(tái)服務(wù)器在下一個(gè)時(shí)間片內(nèi)袄友,其性能將達(dá)到最佳的服務(wù)器相應(yīng)用戶的請(qǐng)求。(被BIG-IP 進(jìn)行檢測(cè))
- 動(dòng)態(tài)性能分配算法(Dynamic Ratio-APM):BIG-IP 收集到的應(yīng)用程序和應(yīng)用服務(wù)器的各項(xiàng)性能參數(shù)霹菊,動(dòng)態(tài)調(diào)整流量分配剧蚣。
- 動(dòng)態(tài)服務(wù)器補(bǔ)充算法(Dynamic Server Act.):當(dāng)主服務(wù)器群中因故障導(dǎo)致數(shù)量減少時(shí),動(dòng)態(tài)地將備份服務(wù)器補(bǔ)充至主服務(wù)器群旋廷。
- 服務(wù)質(zhì)量算法(QoS):按不同的優(yōu)先級(jí)對(duì)數(shù)據(jù)流進(jìn)行分配鸠按。
- 服務(wù)類型算法(ToS): 按不同的服務(wù)類型(在Type of Field中標(biāo)識(shí))負(fù)載均衡對(duì)數(shù)據(jù)流進(jìn)行分配。
- 規(guī)則模式算法:針對(duì)不同的數(shù)據(jù)流設(shè)置導(dǎo)向規(guī)則饶碘,用戶可自行
擴(kuò)展性和伸縮性的區(qū)別
-
擴(kuò)展性:指對(duì)現(xiàn)有系統(tǒng)影響最小的情況下目尖,系統(tǒng)功能可持續(xù)擴(kuò)展或替身的能力。表現(xiàn)在系統(tǒng)基礎(chǔ)設(shè)施穩(wěn)定不需要經(jīng)常變更扎运,應(yīng)用之間較少依賴和耦合瑟曲,對(duì)需求變更可以敏捷響應(yīng)饮戳。它是系統(tǒng)架構(gòu)設(shè)計(jì)層面的開閉原則(對(duì)擴(kuò)展開放,對(duì)修改關(guān)閉)洞拨,架構(gòu)設(shè)計(jì)考慮未來功能擴(kuò)展扯罐,當(dāng)系統(tǒng)增加新功能時(shí),不需要對(duì)現(xiàn)有系統(tǒng)的結(jié)構(gòu)和代碼進(jìn)行修改扣甲。
衡量網(wǎng)站架構(gòu)擴(kuò)展性好壞的主要標(biāo)準(zhǔn)就是在網(wǎng)站增加新的業(yè)務(wù)產(chǎn)品時(shí)篮赢,是否可以實(shí)現(xiàn)對(duì)現(xiàn)有產(chǎn)品透明無影響,不需要任何改動(dòng)或者很少改動(dòng)既有業(yè)務(wù)功能就可以上線新產(chǎn)品琉挖。不同產(chǎn)品之間是否很少耦合,一個(gè)產(chǎn)品改動(dòng)對(duì)其他產(chǎn)品無影響涣脚,其他產(chǎn)品和功能不需要受牽連進(jìn)行改動(dòng)示辈。
-
伸縮性:所謂網(wǎng)站的伸縮性指是不需要改變網(wǎng)站的軟硬件設(shè)計(jì),僅僅通過改變部署的服務(wù)器數(shù)量就可以擴(kuò)大或者縮小網(wǎng)站的服務(wù)處理能力遣蚀。
指系統(tǒng)能夠增加(減少)自身資源規(guī)模的方式增強(qiáng)(減少)自己計(jì)算處理事務(wù)的能力矾麻。如果這種增減是成比例的,就被稱作線性伸縮性芭梯。在網(wǎng)站架構(gòu)中险耀,通常指利用集群的方式增加服務(wù)器數(shù)量、提高系統(tǒng)的整體事務(wù)吞吐能力玖喘。
衡量架構(gòu)伸縮性的主要標(biāo)準(zhǔn)就是可以用多臺(tái)服務(wù)器構(gòu)建集群甩牺,是否容易向集群中添加新的服務(wù)器。加入新的服務(wù)器后是否可以提供和原來服務(wù)無差別的服務(wù)累奈、集群中的可容納的總的服務(wù)器數(shù)量是否有限制贬派。
分布式緩存的一致性hash
具體算法過程:先構(gòu)造一個(gè)長(zhǎng)度為232的整數(shù)環(huán)(這個(gè)環(huán)被稱作一致性Hash環(huán))根據(jù)節(jié)點(diǎn)名稱的Hash值(其分布范圍為[0,232 - 1])將緩存服務(wù)器階段設(shè)置在這個(gè)Hash環(huán)上。然后根據(jù)需要緩存的數(shù)據(jù)的Key值計(jì)算得到Hash值(其分布范圍也同樣為[0,2^32 - 1])澎媒,然后在Hash環(huán)上順時(shí)針查找舉例這個(gè)KEY的hash值最近的緩存服務(wù)器節(jié)點(diǎn)搞乏,完成KEY到服務(wù)器的Hash映射查找。
優(yōu)化策略:將每臺(tái)物理服務(wù)器虛擬為一組虛擬緩存服務(wù)器戒努,將虛擬服務(wù)器的Hash值放置在Hash環(huán)上请敦,key在換上先找到虛擬服務(wù)器節(jié)點(diǎn),再得到物理服務(wù)器的信息储玫。
一臺(tái)物理服務(wù)器設(shè)置多少個(gè)虛擬服務(wù)器節(jié)點(diǎn)合適呢侍筛?經(jīng)驗(yàn)值:150。
網(wǎng)絡(luò)安全
XSS攻擊
跨站點(diǎn)腳本攻擊(Cross Site Script)缘缚,指黑客通過篡改網(wǎng)頁(yè)勾笆,注入惡意的HTML腳本,在用戶瀏覽網(wǎng)頁(yè)時(shí)桥滨,控制用戶瀏覽器進(jìn)行惡意操作的一種攻擊方式窝爪。
防范手段:消毒(XSS攻擊者一般都是通過在請(qǐng)求中嵌入惡意腳本大道攻擊的目的弛车,這些腳本是一般用戶輸入中不使用的,如果進(jìn)行過濾和消毒處理蒲每,即對(duì)某些html危險(xiǎn)字符轉(zhuǎn)移纷跛,如“>”轉(zhuǎn)譯為“& gt;”);HttpOnly(防止XSS攻擊者竊取Cookie).-
注入攻擊:SQL注入和OS注入
SQL防范:預(yù)編譯語句PreparedStatement; ORM;避免密碼明文存放邀杏;處理好相應(yīng)的異常贫奠。
-
CSRF(Cross Site Request Forgery,跨站點(diǎn)請(qǐng)求偽造)望蜡。聽起來與XSS有點(diǎn)相似唤崭,事實(shí)上兩者區(qū)別很大,XSS利用的是站內(nèi)的信任用戶脖律,而CSRF則是通過偽裝來自受信任用戶的請(qǐng)求來利用受信任的網(wǎng)站谢肾。
防范:httpOnly;增加token;通過Referer識(shí)別。
文件上傳漏洞
DDos攻擊
加密技術(shù)
摘要加密:MD5, SHA
對(duì)稱加密:DES算法小泉,RC算法芦疏, AES
非對(duì)稱加密:RSA
非對(duì)稱加密技術(shù)通常用在信息安全傳輸,數(shù)字簽名等場(chǎng)合微姊。
HTTPS傳輸中瀏覽器使用的數(shù)字證書實(shí)質(zhì)上是經(jīng)過權(quán)威機(jī)構(gòu)認(rèn)證的非對(duì)稱加密的公鑰酸茴。
流控(流量控制)
流量丟棄
通過單機(jī)內(nèi)存隊(duì)列來進(jìn)行有限的等待,直接丟棄用戶請(qǐng)求的處理方式顯得簡(jiǎn)單而粗暴兢交,并且如果是I/O密集型應(yīng)用(包括網(wǎng)絡(luò)I/O和磁盤I/O)薪捍,瓶頸一般不再CPU和內(nèi)存。因此魁淳,適當(dāng)?shù)牡却饶軌蛱嫔碛脩趔w驗(yàn),又能夠提高資源利用率界逛。
通過分布式消息隊(duì)列來將用戶的請(qǐng)求異步化昆稿。