本系列文章整理自《大型網(wǎng)站系統(tǒng)與Java中間件實踐》

分布式系統(tǒng)的定義

A distributed system is one in which components located at networked computers communicate and coordinate their actions only by passing messages.
組件分布在網(wǎng)絡(luò)計算機上透葛，組件之間僅僅通過消息傳遞來通信并協(xié)調(diào)行動渡处。

理解：分布式系統(tǒng)一定是由多個節(jié)點組成的系統(tǒng)施无，一般來說一個節(jié)點就是一臺計算機，節(jié)點之間互連喘沿；最后這些節(jié)點部署了我們的組件闸度，并且相互之間的操作會有協(xié)同。

分布式系統(tǒng)的意義

• 升級單機處理能力的性價比越來越低蚜印；
• 單機處理能力存在瓶頸莺禁；
• 出于穩(wěn)定性和可用性考慮。

分布式系統(tǒng)基本知識

1.組成計算機的5要素

輸入設(shè)備窄赋、輸出設(shè)備哟冬、運算器楼熄、控制器、存儲器（內(nèi)存和外存）浩峡。計算機斷電時內(nèi)存的數(shù)據(jù)會丟失可岂，外存的數(shù)據(jù)依然存在。

2.線程與進程的執(zhí)行模式

明確：這里指的是單進程下的多線程翰灾。多線程開發(fā)中缕粹，我們需要處理線程間的通信，需要對線程并發(fā)做控制预侯，需要做好線程間的協(xié)調(diào)工作致开。
2.1阿姆達爾定律

2.2互不通信的多線程模式
在多線程程序中扣墩，多個線程會在系統(tǒng)中并發(fā)執(zhí)行。如果線程之間不需要處理共享的數(shù)據(jù)扛吞，也不需要動作協(xié)調(diào)呻惕，將會非常簡單，就是多個線程獨立完成自己線程的工作滥比。如圖：

2.3基于共享容器協(xié)同的多線程模式
多個線程之間對共享數(shù)據(jù)進行處理亚脆。如經(jīng)典的生產(chǎn)者和消費者例子，我們有一個隊列用于生產(chǎn)和消費盲泛，那么這個隊列就是多個線程會共享一個容器或者數(shù)據(jù)對象濒持，多個線程并發(fā)地訪問這個隊列。

對于這種在多線程環(huán)境下對統(tǒng)一數(shù)據(jù)的訪問寺滚，我們需要有所保護和控制以保證訪問的正確性柑营。對于存儲數(shù)據(jù)的容器或者對象，有線程安全和線程不安全之分村视，對于線程不安全的官套，一般通過加鎖或者通過Copy On Write的方式來控制并發(fā)訪問。使用加鎖的方式時，如果數(shù)據(jù)讀寫比例很高虏杰，一般采用讀寫鎖而非簡單的互斥鎖。對于線程安全的容器或?qū)ο罄障海梢栽诙嗑€程環(huán)境下直接使用纺阔。

注意：有時通過加鎖把使用線程不安全容器的代碼改為使用線程安全容器的代碼時，會遇到一個陷阱修然。
即在一個使用Map進行計數(shù)統(tǒng)計總數(shù)的例子中笛钝，map中value整型使用線程不安全容器HashMap是這樣的：

public class TestClass {
    private HashMap<String, Integer> map = new HashMap<String, Integer>(); 
        public void add(String key){
            Integer value = map.get(key);
            if (value == null) {
                map.put(key, 1); 
            }else{
                map.put(key, value + 1); 
            } 
         }
}

使用ConcurrentHashMap來替換HashMap,并且僅僅去掉Synchoronized關(guān)鍵字，問題出現(xiàn)了愕宋。（Java代碼如下）

public class TestClass {
        private ConcurrentHashMap<String, Integer> map = new ConcurrentHashMap<String, Integer>();

        public void add(String key) {
            Integer value = map.get(key);
            if (value == null) {
                map.put(key, 1);
            } else {
                map.put(key, value + 1);
            }
        }
    }

我的理解是對ConcurrentHashMap的get和put方法是線程安全的玻靡，但這個計數(shù)過程是要求對整個過程（get值判斷再put）線程安全的，先get值判斷再put得操作不是原子的中贝，所以不線程安全囤捻，會造成計數(shù)小于實際。

2.4通過事件協(xié)同的多線程模式
除了并發(fā)控制訪問邻寿，線程間會存在協(xié)調(diào)的需求蝎土。例如A、B線程绣否，B線程需要等到某個狀態(tài)或事件發(fā)生后才能繼續(xù)自己的工作誊涯，而這個狀態(tài)發(fā)生或者改變和A線程相關(guān)。這個場景下蒜撮，需要完成線程間的協(xié)調(diào)暴构。

T1代碼
……
A.lock();  
B.lock(); 
…… 
T2代碼 
…… 
B.lock(); 
A.lock(); 
……

這個時候T1等不到B，T2等不到A特姐。下面這種做法可以避免死鎖：

T1代碼
……
A.lock();
B.lock();
……
T2代碼
…… 
A.lock(); 
B.lock(); 
…… 

T2線程獲取鎖的順序發(fā)生變化晶丘，現(xiàn)在和T1一樣，都獲取A，再獲取B鎖浅浮。
還有另一種方式避免死鎖：

T1代碼
……
getLocks(A,B);
……
T2代碼
…… 
getLocks(A,B); 
…… 

getLocks方法一次性獲取兩個鎖沫浆。
2.5 多進程模式
下面關(guān)注進程間的關(guān)系，多進程和多線程有許多相似之處滚秩。線程是屬于進程的专执，一個進程的多個線程共享內(nèi)存空間，而多個進程之間內(nèi)存空間是相互獨立的郁油，因此多個進程間通過內(nèi)存共享本股，交換數(shù)據(jù)的方式有所不同。進程間的通信桐腌，協(xié)調(diào)以及事件通知或者等待鎖釋放也與多線程不一樣拄显。
區(qū)別：多進程相對于單進程多線程的方式來說，資源控制更容易實現(xiàn)案站。多進程的單個進程錯誤不會導致系統(tǒng)整體不可用躬审。
分布式系統(tǒng)是多機組成的系統(tǒng)，可以把它看做單機多線程變成了多機多線程嚼吞。多機系統(tǒng)帶來一個好處盒件，即當單個機器出現(xiàn)問題時，如果處理得好舱禽，就不會影響整體的集群炒刁。

3.網(wǎng)絡(luò)通信的基礎(chǔ)知識

3.1 OSI與TCP/IP模型

ISO的OSI七層網(wǎng)絡(luò)模型

OSI模型與TCP/IP模型對比

3.2網(wǎng)絡(luò)IO實現(xiàn)方式
接觸比較多的網(wǎng)絡(luò)模型主要是TCP/IP協(xié)議棧，UDP也在一些場景下用到誊稚。
當我們使用socket通信時翔始，有三種方式：BIO、NIO和AIO里伯。
BIO方式
BIO即Blokcing IO,采用阻塞的方式實現(xiàn)城瞎。即一個Socket通信需要一個線程處理。發(fā)生建立連接疾瓮、讀數(shù)據(jù)脖镀、寫數(shù)據(jù)的操作時，都可能會阻塞狼电。這個模式簡單蜒灰。但帶來主要問題是當作為Server端，一個線程只處理一個socket肩碟，在支持并發(fā)連接時强窖，需要更多的線程完成這個工作。
BIO的工作方式：

NIO方式
NIO即NonBlocking IO削祈，基于事件驅(qū)動思想翅溺，采用Reactor模式脑漫。Java實現(xiàn)的服務(wù)器系統(tǒng)較多采用。相對于BIO咙崎，NIO一個明顯的好處是不需要為每個socket套接字分配一個線程优幸，而可以在一個線程處理多個Socket套接字相關(guān)的工作。

4.如何把應(yīng)用從單機擴展到分布式
輸入锦针、輸出荠察、運算、存儲奈搜、控制這五個方面組成計算機悉盆，分布式有何變化？
4.1輸入設(shè)備的變化
分布式系統(tǒng)由通過網(wǎng)絡(luò)連接的多個節(jié)點組成馋吗，一種是互相連接的多個節(jié)點焕盟，在接收其他節(jié)點傳來的信息時，該節(jié)點可以看做是輸入設(shè)備宏粤；另外一種就是傳統(tǒng)意義上的人機交互輸入設(shè)備脚翘。
4.2輸出設(shè)備變化
一種是指系統(tǒng)中的節(jié)點；另一種是用戶終端屏幕商架。
4.3控制器變化
單機系統(tǒng)中指的是CPU中的控制器堰怨。
分布式系統(tǒng)中是由多個節(jié)點通過網(wǎng)絡(luò)連接在一起并通過消息的傳遞進行協(xié)調(diào)的系統(tǒng)。
控制器的主要作用就是協(xié)調(diào)和控制節(jié)點之間的動作和行為蛇摸。

日志處理系統(tǒng)場景：
單日志系統(tǒng)

改進Master方式

應(yīng)用服務(wù)器與KV服務(wù)器直接相連晌该。KV服務(wù)器的選擇邏輯放在應(yīng)用服務(wù)器上完成。實際實施中通過規(guī)則服務(wù)器配合绿渣；另外則是對等看待朝群，靈活適應(yīng)KV服務(wù)器的增加減少。