高并發(fā)與大數(shù)據(jù)(1)

這一章來看一下能提升性能插龄，減少服務器壓力的方法

web資源防盜鏈

  • 盜鏈是什么？ 為什么要防科展？

在自己頁面上顯示一些不是自己服務器的資源（圖片均牢、音頻、視頻才睹、css徘跪、js等）
由于別人盜鏈你的資源會加重你的服務器負擔，所以我們需要防止
可能會影響統(tǒng)計

  • 防盜鏈是什么琅攘？ 有哪幾種方式垮庐？

防止別人通過一些技術手段繞過本站的資源展示頁，盜用本站資源坞琴，讓繞開本站資源展示頁面的資源鏈接失效
大大減輕服務器壓力

1哨查、Referer (易偽造referer,安全性低)
2、加密簽名 （安全性高）
  • 防盜鏈的工作原理

通過Referer剧辐，服務器可以檢測到訪問目標資源的來源網(wǎng)站解恰，如果是資源文件锋八，則可以跟蹤到顯示它的網(wǎng)頁地址。一旦檢測到來源網(wǎng)站不是本站進行阻止

通過簽名护盈，根據(jù)計算簽名的方式挟纱，判斷請求是否合法，如果合法則顯示腐宋，否則返回錯誤信息

  • Referer實現(xiàn)

以Nginx為例紊服，前提加載ngx_http_referer_module模塊

//指令valid_referers  全局invalid_referer
location ~* \.(gif|jpg|png|webp)$ {
   valid_referers none blocked domain.com *.domain.com ;
   if ($invalid_referer) {
        return 403;
        #rewrite ^/ http://www.domain.com/403.jpg;
   }
}

注意：為什么要none呢？因為如果通過瀏覽器直接訪問資源胸竞，referer就是為空欺嗤，所以這種方式不能徹底阻擋住盜鏈。

  • 加密簽名

以Nginx為例卫枝，前提加載第三方模塊HttpAccessKeyModule實現(xiàn)防盜鏈

location ~* \.(gif|jpg|png|webp)$ {
    accesskey on;
    accesskey_hashmethod md5;
    accesskey_arg key;
    accesskey_signature "mysrc$remote_addr";
}

減少HTTP請求次數(shù)

  • 發(fā)現(xiàn)問題

8090%是花費在頁面引用控件的加載上煎饼，只有1020%是花費在文檔的加載上
HTTP/1.1協(xié)議規(guī)定請求只能串行發(fā)送，換句話就是100個請求校赤，只能一個一個發(fā)送吆玖，上一個請求完成才能進行下一個請求

  • 如何改善？

減少引用控件數(shù)量马篮，從而達到減少HTTP請求次數(shù)

  • 如何實現(xiàn)減少請求沾乘？

1、圖片地圖

原理：把多張圖片合成一張浑测，再使用<map>標簽來實現(xiàn)對圖片上不同區(qū)域的鏈接

<img src="img/planets.gif" width="145" height="126" alt="Planets" usemap="#planetmap">
<map name="planetmap">
  <area shape="rect" coords="0,0,82,126" alt="Sun" href="sun.htm">
  <area shape="circle" coords="90,58,3" alt="Mercury" href="mercur.htm">
  <area shape="circle" coords="124,58,8" alt="Venus" href="venus.htm">
</map>

圖片地圖

2翅阵、CSS Sprites（雪碧圖）

原理：合拼圖片，再使用css的background-image和background-position來指定顯示元素

CSS Sprites與圖片地圖性能差不多迁央，但CSS Sprites更加簡單靈活

CSS Sprites

3掷匠、合并JS與CSS文件

加載一個JS文件比加載多個JS文件要快

一般會使用前端自動構建工具打包合并

4、圖片使用base64編碼

注意：圖片base64除了可以使用在<img>中岖圈，還可以使用在css的background-image中

CDN加速

  • 什么是CDN加速讹语？

CDN 就是內(nèi)容分發(fā)網(wǎng)絡，在各處放置服務器來構成一層智能虛擬網(wǎng)絡幅狮，此處服務器稱之為節(jié)點服務器募强。所謂智能就是會自動根據(jù)用戶請求信息把請求重新分配到離客戶端最近的服務器。

CDN的作用： 解決由于服務端與客戶端所在區(qū)域的不同崇摄，導致影響數(shù)據(jù)傳輸速度和穩(wěn)定性問題擎值，一句話總結就是讓數(shù)據(jù)傳輸更快更穩(wěn)定。

  • CDN有什么優(yōu)勢逐抑？

1鸠儿、智能Cache加速，提高企業(yè)站點的訪問速度（含大量圖片或靜態(tài)頁面最適合，因為CDN相當于是服務器的一個鏡像）
2进每、跨運營商的網(wǎng)絡加速汹粤，保證不同網(wǎng)絡的用戶都能得到很好的訪問速度
3、加速用戶遠程訪問服務器田晚，根據(jù)DNS負載均衡技術自動智能選擇Catch服務器
4嘱兼、自動生成遠程服務器的鏡像（Catch服務器），加速訪問速度贤徒，減輕Web服務器的負擔芹壕，分擔流量

  • CDN的工作原理是什么？

[圖片上傳失敗...(image-70b062-1555662945887)]

[圖片上傳失敗...(image-ac2b9f-1555662945887)]

  • CDN適用場景有哪些接奈？

1踢涌、網(wǎng)站或應用中大量靜態(tài)資源的加速分發(fā) （例如：css/js/圖片等）
2、大文件下載
3序宦、直播網(wǎng)站

  • CDN如何實現(xiàn)睁壁？

瀏覽器緩存

高并發(fā)下只能通過提高服務器負載來解決？ NO,流量互捌、前端潘明、服務器、數(shù)據(jù)庫
緩存只能是數(shù)據(jù)庫緩存嗎疫剃？ NO,還有瀏覽器緩存

  • HTTP緩存分類（2種）

1.****200 OK (from memory cache)****直接從本地緩存中獲取響應钉疫，最快速硼讽、最省流量巢价，因為沒有向服務器發(fā)送請求

2.****304 Not Modified 協(xié)商緩存，瀏覽器在本地沒有命中的情況下固阁，請求頭中會發(fā)送一定的校驗數(shù)據(jù)到服務器壤躲。如果服務端數(shù)據(jù)沒有改變，服務端直接響應（通知瀏覽器從本地緩存獲缺溉肌）碉克，返回304（快速、發(fā)送數(shù)據(jù)很少并齐，只返回最基本的響應頭漏麦，不發(fā)送響應體）

PS: 以上兩種緩存全部失敗，服務器返回完整響應體(200 OK)况褪，沒有用到緩存撕贞，速度最慢

  • 與瀏覽器本地緩存相關的header

Pragma

Cache-Control

Expires

前端代碼和資源壓縮優(yōu)化

讓資源文件更小，加快文件在網(wǎng)絡中傳輸测垛，讓網(wǎng)頁更快的展示捏膨，降低流量和寬帶開銷

  • 壓縮方式

JS、CSS、HTML号涯、圖片壓縮和Gzip壓縮

  • JS代碼壓縮
去除一些多余的空格和回車目胡，替換長變量名，簡化一些代碼寫法
壓縮工具：在線版和安裝版

在線壓縮工具

  • CSS代碼壓縮
與JS壓縮原理一樣链快，去除空白符誉己、注釋和優(yōu)化一下語義化

在線壓縮工具

  • HTML代碼壓縮****（不推薦，鎮(zhèn)用）
不推薦使用域蜗，因為會破壞代碼結構巫延。
  • 圖片(JPG、PNG)壓縮

壓縮工具：tinypng/JpegMini/ImageOptim

  • Gzip壓縮

Gzip壓縮是Web服務器對純文本文件（JS/CSS/XML/HTML）進行壓縮
注意：千萬不要對圖片進行Gzip壓縮

//以Nginx為例

# 開啟gzip
gzip on;
# 啟用gzip壓縮的最小文件地消，小于設置值的文件將不會壓縮
gzip_min_length 1k;
# gzip 壓縮級別炉峰，1-10，數(shù)字越大壓縮的越好脉执，也越占用CPU時間疼阔，后面會有詳細說明，推薦6
gzip_comp_level 6;
# 進行壓縮的文件類型半夷。javascript有多種形式婆廊。其中的值可以在 mime.types 文件中找到。
gzip_types text/plain application/javascript application/x-javascript text/css application/xml text/javascript application/x-httpd-php;
# 是否在http header中添加Vary: Accept-Encoding巫橄，建議開啟
gzip_vary on;
# 禁用IE 6 gzip
gzip_disable "MSIE [1-6]\.";
# 壓縮存儲的緩沖
gzip_buffers 16 64k;
# 開啟壓縮的http版本
gzip_http_version 1.1;

動態(tài)語言靜態(tài)化

將現(xiàn)代動態(tài)語言的邏輯代碼生成為靜態(tài)HTML文件（靜態(tài)化實際作用：緩存成一個html文件）淘邻，再次訪問時就會重定向到靜態(tài)文件

  • 適用場景

對實時性要求不高的頁面

  • 為什么要使用靜態(tài)化？

解決高并發(fā)湘换，減輕Web服務器和數(shù)據(jù)庫服務器壓力

  • 靜態(tài)化實現(xiàn)方式有幾種宾舅？

1、使用Smarty模板引擎
2彩倚、使用ob系列函數(shù)

  • 使用Smarty模板引擎
//緩存存放目錄
$smarty->cache_dir=$ROOT.'/cache'; 
//開啟緩存
$smarty->caching=true; 
//緩存過期時間
$smarty->cache_lifetime=3600;
//加載模板
$smarty->display();
//清除所有緩存文件
$smarty->clearAllCache();
//清除特定模板的緩存
$smarty->clearCache('index.tpl');
  • 使用ob系列函數(shù)（重點筹我，實現(xiàn)靜態(tài)化基礎）
//開啟輸出緩沖區(qū)
ob_start(); 
//獲取輸出緩沖區(qū)內(nèi)容
ob_get_contents();
//清空（擦掉）輸出緩沖區(qū)
ob_clean();
//送出輸出緩沖區(qū)內(nèi)容并關閉緩沖
ob_end_flush();
//得到當前緩沖區(qū)的內(nèi)容并刪除輸出緩沖區(qū)
ob_get_clean();

動態(tài)語言的并發(fā)處理

  • 什么是進程？什么是線程帆离？什么是協(xié)程蔬蕊？

進程：是一個“執(zhí)行中的程序”，程序不執(zhí)行就不會產(chǎn)生進程哥谷。一個執(zhí)行中的程序至少會產(chǎn)生一個進程岸夯，當進程獲得了處理機時才會從就緒狀態(tài)變?yōu)檫\行狀態(tài)，處理機不斷切換地分配到每個進程中们妥。決定同時有多少個進程處于運行狀態(tài)的是處理器數(shù)量（CPU核數(shù)）

進程的三態(tài)模型：多個程序在系統(tǒng)中運行時猜扮，進程在處理機中交替運行，狀態(tài)在不斷切換王悍。
三態(tài)分別是：就緒破镰、運行、阻塞

[圖片上傳失敗...(image-4c9a3d-1555662945886)]

進程的五態(tài)模型（在三態(tài)的基礎上發(fā)展而來）：新建態(tài)、運行態(tài)鲜漩、終止態(tài)源譬、就緒態(tài)、等待態(tài)

線程：稱之為輕量級的進程孕似，程序執(zhí)行流的最小單元踩娘。線程依賴于進程（一個進程可以有多個線程），線程不擁有系統(tǒng)資源喉祭。與同屬一個進程的其他線程共享進程擁有的全部資源养渴；一個線程可以創(chuàng)建和撤銷另一個線程，同一個進程中的多個線程可以并發(fā)執(zhí)行泛烙。一個進程下有多個線程來完成不同的工作稱之為多線程理卑。（一個進程下至少會有一個線程）

線程由來：由于用戶并發(fā)請求，為每個請求都創(chuàng)建一個進程顯然太浪費系統(tǒng)資源和影響響應用戶請求的效率蔽氨，所以引進線程的概念藐唠。

協(xié)程：是一種用戶態(tài)輕量級的線程。

//協(xié)程與線程的區(qū)別
1鹉究、協(xié)程是由用戶自己調(diào)度宇立，而線程是用系統(tǒng)調(diào)度
2、協(xié)程是異步的自赔，而進程線程是同步的
3妈嘹、一個線程可以有多個協(xié)程，一個進程也可以單獨擁有多個協(xié)程
4绍妨、協(xié)程會保留上一次調(diào)用的狀態(tài)
  • 什么是多線程润脸？什么是多進程？

多進程：2個或2個以上的進程處于運行狀態(tài)痘绎，進程間通信不方便

多線程：把一個進程分為很多片津函，每一片都是一個獨立的流程肖粮，線程間可以互相通訊

  • 同步阻塞模型
  • 異步非阻塞模型
  • PHP并發(fā)編程實戰(zhàn)

*1.*****使用swoole擴展

2.使用消息隊列

3.接口的并發(fā)請求

curl_multi_init()

數(shù)據(jù)緩存

  • 什么是數(shù)據(jù)緩存孤页？
傳統(tǒng)關系型數(shù)據(jù)庫都是把數(shù)據(jù)存儲到硬盤中，在高并發(fā)情況下涩馆，對數(shù)據(jù)庫服務器會造成巨大壓力（巨大IO操作）行施，為了解決此問題，數(shù)據(jù)緩存由此而生魂那！

作用：
1蛾号、極大地緩解數(shù)據(jù)庫服務器的壓力
2、提高數(shù)據(jù)的響應速度

緩存形式有：內(nèi)存緩存涯雅、文件緩存
推薦使用內(nèi)存緩存

  • 為什么要使用數(shù)據(jù)緩存鲜结？（答案如上）

第一次訪問：

image.png

再次訪問：

image.png
  • 如何使用Mysql查詢緩存？
  • 如何使用Memcache緩存？
  • 如何使用redis緩存精刷？

Web服務器負載均衡

  • 實現(xiàn)方式

1拗胜、七層負載均衡（Nginx）
2、四層負載均衡（LVS/硬件設備）

  • 七層負載均衡

基于URL等應用層信息實現(xiàn)負載均衡

// 一般使用Nginx來實現(xiàn)
功能強大怒允、性能卓越埂软、運行穩(wěn)定
配置簡單靈活
上傳文件使用異步模式
多種分發(fā)策略
自動剔除不正常工作設備
  • Nginx負載均衡策略

內(nèi)置

加權輪詢、IP Hash

外置

fair策略纫事、通用Hash勘畔、一致性Hash
  • Nginx配置負載均衡
http{

    upstream load.com{
        server 192.168.1.241:80;
        server 192.168.1.247:80;
        server 127.0.0.1:8080;
    }
    server{
        listen 80;
        location / {
            proxy_pass http://load.com;
        }
    }
}
  • 四層負載均衡

有2種方式實現(xiàn)：
1、LVS
2丽惶、硬件設備

LVS負載均衡的三種方式：NAT炫七、DR和TUN

硬件設備：通過報文中的目標地址和端口，再加上負載均衡設備的服務器選擇方式钾唬，決定最終選擇的內(nèi)部服務器

MySQL數(shù)據(jù)庫優(yōu)化

  • 優(yōu)化方向

字段數(shù)據(jù)類型優(yōu)化

tinyint/smallint/int/bigint的選擇
char/varchar
enum 固定分類
IP地址數(shù)據(jù)如何存诉字？
答案：把IP地址轉(zhuǎn)整型類型存儲

索引

SQL語句優(yōu)化

存儲引擎優(yōu)化

表結構設計優(yōu)化

數(shù)據(jù)庫服務器架構優(yōu)化

最后編輯于 ：
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末俐筋，一起剝皮案震驚了整個濱河市但汞，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌被盈，老刑警劉巖琅轧，帶你破解...
    沈念sama閱讀 211,042評論 6贊 490
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件伍绳，死亡現(xiàn)場離奇詭異，居然都是意外死亡乍桂，警方通過查閱死者的電腦和手機冲杀，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,996評論 2贊 384
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來睹酌，“玉大人权谁，你說我怎么就攤上這事”镅兀” “怎么了旺芽？”我有些...
    開封第一講書人閱讀 156,674評論 0贊 345
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長辐啄。 經(jīng)常有香客問我采章，道長，這世上最難降的妖魔是什么壶辜？ 我笑而不...
    開封第一講書人閱讀 56,340評論 1贊 283
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任悯舟，我火速辦了婚禮，結果婚禮上砸民，老公的妹妹穿的比我還像新娘抵怎。我一直安慰自己奋救，他們只是感情好，可當我...
    茶點故事閱讀 65,404評論 5贊 384
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布反惕。 她就那樣靜靜地躺著菠镇，像睡著了一般。 火紅的嫁衣襯著肌膚如雪承璃。 梳的紋絲不亂的頭發(fā)上利耍，一...
    開封第一講書人閱讀 49,749評論 1贊 289
  • 城市分裂傳說
    那天，我揣著相機與錄音盔粹，去河邊找鬼隘梨。 笑死，一個胖子當著我的面吹牛舷嗡，可吹牛的內(nèi)容都是我干的轴猎。 我是一名探鬼主播，決...
    沈念sama閱讀 38,902評論 3贊 405
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼进萄，長吁一口氣：“原來是場噩夢啊……” “哼捻脖！你這毒婦竟也來了？” 一聲冷哼從身側響起中鼠，我...
    開封第一講書人閱讀 37,662評論 0贊 266
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤可婶，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后援雇，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體矛渴，經(jīng)...
    沈念sama閱讀 44,110評論 1贊 303
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,451評論 2贊 325
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年惫搏，在試婚紗的時候發(fā)現(xiàn)自己被綠了具温。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,577評論 1贊 340
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡筐赔，死狀恐怖铣猩，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情茴丰，我是刑警寧澤达皿，帶...
    沈念sama閱讀 34,258評論 4贊 328
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布，位于F島的核電站较沪，受9級特大地震影響鳞绕，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜尸曼，卻給世界環(huán)境...
    茶點故事閱讀 39,848評論 3贊 312
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望萄焦。 院中可真熱鬧控轿，春花似錦冤竹、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,726評論 0贊 21
  • 一樁弒父案鹦蠕，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至在抛，卻和暖如春钟病，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背刚梭。 一陣腳步聲響...
    開封第一講書人閱讀 31,952評論 1贊 264
  • 情欲美人皮
    我被黑心中介騙來泰國打工肠阱， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人朴读。 一個月前我還...
    沈念sama閱讀 46,271評論 2贊 360
  • 代替公主和親
    正文 我出身青樓屹徘，卻偏偏與公主長得像，于是被迫代替她去往敵國和親衅金。 傳聞我的和親對象是個殘疾皇子噪伊，可洞房花燭夜當晚...
    茶點故事閱讀 43,452評論 2贊 348