Java的多線程機(jī)制:緩存一致性和CAS

一、總線鎖定和緩存一致性

這是兩個(gè)操作系統(tǒng)層面的概念雷绢。隨著多核時(shí)代的到來难咕，并發(fā)操作已經(jīng)成了很正常的現(xiàn)象课梳，操作系統(tǒng)必須要有一些機(jī)制和原語，以保證某些基本操作的原子性余佃，比如處理器需要保證讀一個(gè)字節(jié)或?qū)懸粋€(gè)字節(jié)是原子的暮刃，那么它是如何實(shí)現(xiàn)的呢?有兩種機(jī)制：總線鎖定和緩存一致性。

我們知道爆土，CPU和物理內(nèi)存之間的通信速度遠(yuǎn)慢于CPU的處理速度椭懊，所以CPU有自己的內(nèi)部緩存，根據(jù)一些規(guī)則將內(nèi)存中的數(shù)據(jù)讀取到內(nèi)部緩存中來雾消，以加快頻繁讀取的速度灾搏。我們假設(shè)在一臺PC上只有一個(gè)CPU和一份內(nèi)部緩存挫望，那么所有進(jìn)程和線程看到的數(shù)都是緩存里的數(shù)立润，不會存在問題;但現(xiàn)在服務(wù)器通常是多 CPU，更普遍的是媳板，每塊CPU里有多個(gè)內(nèi)核桑腮，而每個(gè)內(nèi)核都維護(hù)了自己的緩存，那么這時(shí)候多線程并發(fā)就會存在緩存不一致性蛉幸，這會導(dǎo)致嚴(yán)重問題破讨。

以 i++為例，i的初始值是0.那么在開始每塊緩存都存儲了i的值0奕纫，當(dāng)?shù)谝粔K內(nèi)核做i++的時(shí)候提陶，其緩存中的值變成了1，即使馬上回寫到主內(nèi)存匹层，那么在回寫之后第二塊內(nèi)核緩存中的i值依然是0隙笆，其執(zhí)行i++，回寫到內(nèi)存就會覆蓋第一塊內(nèi)核的操作升筏，使得最終的結(jié)果是1撑柔，而不是預(yù)期中的2.

那么怎么解決整個(gè)問題呢?操作系統(tǒng)提供了總線鎖定的機(jī)制。前端總線(也叫CPU總線)是所有CPU與芯片組連接的主干道您访，負(fù)責(zé)CPU與外界所有部件的通信铅忿，包括高速緩存、內(nèi)存灵汪、北橋檀训，其控制總線向各個(gè)部件發(fā)送控制信號柑潦、通過地址總線發(fā)送地址信號指定其要訪問的部件、通過數(shù)據(jù)總線雙向傳輸峻凫。在CPU1要做 i++操作的時(shí)候妒茬，其在總線上發(fā)出一個(gè)LOCK#信號，其他處理器就不能操作緩存了該共享變量內(nèi)存地址的緩存蔚晨，也就是阻塞了其他CPU乍钻，使該處理器可以獨(dú)享此共享內(nèi)存。

但我們只需要對此共享變量的操作是原子就可以了铭腕，而總線鎖定把CPU和內(nèi)存的通信給鎖住了银择，使得在鎖定期間，其他處理器不能操作其他內(nèi)存地址的數(shù)據(jù)累舷，從而開銷較大浩考，所以后來的CPU都提供了緩存一致性機(jī)制，Intel的奔騰486之后就提供了這種優(yōu)化被盈。

緩存一致性機(jī)制整體來說析孽，是當(dāng)某塊CPU對緩存中的數(shù)據(jù)進(jìn)行操作了之后，就通知其他CPU放棄儲存在它們內(nèi)部的緩存只怎，或者從主內(nèi)存中重新讀取袜瞬，如下圖：

image.png

這里以在Intel系列中廣泛使用的MESI協(xié)議詳細(xì)闡述下其原理。

MESI 協(xié)議是以緩存行(緩存的基本數(shù)據(jù)單位身堡，在Intel的CPU上一般是64字節(jié))的幾個(gè)狀態(tài)來命名的(全名是Modified邓尤、Exclusive、 Share or Invalid)贴谎。該協(xié)議要求在每個(gè)緩存行上維護(hù)兩個(gè)狀態(tài)位汞扎，使得每個(gè)數(shù)據(jù)單位可能處于M、E擅这、S和I這四種狀態(tài)之一澈魄，各種狀態(tài)含義如下：

M：被修改的。處于這一狀態(tài)的數(shù)據(jù)仲翎，只在本CPU中有緩存數(shù)據(jù)痹扇，而其他CPU中沒有。同時(shí)其狀態(tài)相對于內(nèi)存中的值來說谭确，是已經(jīng)被修改的帘营，且沒有更新到內(nèi)存中。
E：獨(dú)占的逐哈。處于這一狀態(tài)的數(shù)據(jù)芬迄，只有在本CPU中有緩存，且其數(shù)據(jù)沒有修改昂秃，即與內(nèi)存中一致禀梳。
S：共享的杜窄。處于這一狀態(tài)的數(shù)據(jù)在多個(gè)CPU中都有緩存，且與內(nèi)存一致算途。
I：無效的塞耕。本CPU中的這份緩存已經(jīng)無效。

這里首先介紹該協(xié)議約定的緩存上對應(yīng)的監(jiān)聽：

一個(gè)處于M狀態(tài)的緩存行嘴瓤，必須時(shí)刻監(jiān)聽所有試圖讀取該緩存行對應(yīng)的主存地址的操作扫外，如果監(jiān)聽到，則必須在此操作執(zhí)行前把其緩存行中的數(shù)據(jù)寫回CPU廓脆。
一個(gè)處于S狀態(tài)的緩存行筛谚，必須時(shí)刻監(jiān)聽使該緩存行無效或者獨(dú)享該緩存行的請求，如果監(jiān)聽到停忿，則必須把其緩存行狀態(tài)設(shè)置為I驾讲。
一個(gè)處于E狀態(tài)的緩存行，必須時(shí)刻監(jiān)聽其他試圖讀取該緩存行對應(yīng)的主存地址的操作席赂，如果監(jiān)聽到吮铭，則必須把其緩存行狀態(tài)設(shè)置為S。

當(dāng)CPU需要讀取數(shù)據(jù)時(shí)颅停，如果其緩存行的狀態(tài)是I的谓晌，則需要從內(nèi)存中讀取，并把自己狀態(tài)變成S便监；如果不是I扎谎，則可以直接讀取緩存中的值，但在此之前烧董，必須要等待其他CPU的監(jiān)聽結(jié)果，如其他CPU也有該數(shù)據(jù)的緩存且狀態(tài)是M胧奔，則需要等待其把緩存更新到內(nèi)存之后逊移，再讀取。

當(dāng)CPU需要寫數(shù)據(jù)時(shí)龙填，只有在其緩存行是M或者E的時(shí)候才能執(zhí)行胳泉，否則需要發(fā)出特殊的RFO指令(Read Or Ownership，這是一種總線事務(wù))岩遗，通知其他CPU置緩存無效(I)扇商，這種情況下的性能開銷是相對較大的。在寫入完成后宿礁，修改其緩存狀態(tài)為M案铺。

所以如果一個(gè)變量在某段時(shí)間只被一個(gè)線程頻繁地修改，則使用其內(nèi)部緩存就完全可以辦到梆靖，不涉及到總線事務(wù)控汉，如果緩存一會被這個(gè)CPU獨(dú)占笔诵、一會被那個(gè)CPU 獨(dú)占，這時(shí)才會不斷產(chǎn)生RFO指令影響到并發(fā)性能姑子。這里說的緩存頻繁被獨(dú)占并不是指線程越多越容易觸發(fā)乎婿，而是這里的CPU協(xié)調(diào)機(jī)制，這有點(diǎn)類似于有時(shí)多線程并不一定提高效率街佑，原因是線程掛起谢翎、調(diào)度的開銷比執(zhí)行任務(wù)的開銷還要大，這里的多CPU也是一樣沐旨，如果在CPU間調(diào)度不合理岳服，也會形成RFO指令的開銷比任務(wù)開銷還要大。當(dāng)然希俩，這不是編程者需要考慮的事吮播，操作系統(tǒng)會有相應(yīng)的內(nèi)存地址的相關(guān)判斷，這不在本文的討論范圍之內(nèi)绿店。

并非所有情況都會使用緩存一致性的拙寡，如被操作的數(shù)據(jù)不能被緩存在CPU內(nèi)部或操作數(shù)據(jù)跨越多個(gè)緩存行(狀態(tài)無法標(biāo)識)，則處理器會調(diào)用總線鎖定;另外當(dāng)CPU不支持緩存鎖定時(shí)鳞上，自然也只能用總線鎖定了这吻，比如說奔騰486以及更老的CPU。

二篙议、CAS(Compare and Swap)

有了上一章的總線鎖定和緩存一致性的介紹唾糯，對CAS就比較好理解了，這不是java特有的鬼贱，而是操作系統(tǒng)需要保證的移怯。CAS指令在Intel CPU上稱為CMPXCHG指令，它的作用是將指定內(nèi)存地址的內(nèi)容與所給的某個(gè)值相比这难，如果相等舟误，則將其內(nèi)容替換為指令中提供的新值，如果不相等姻乓，則更新失敗嵌溢。這一比較并交換的操作是原子的，不可以被中斷蹋岩，而其保證原子性的原理就是上一節(jié)提到的“總線鎖定和緩存一致性”赖草。初一看，CAS也包含了讀取剪个、比較 (這也是種操作)和寫入這三個(gè)操作秧骑，和之前的i++并沒有太大區(qū)別，是的，的確在操作上沒有區(qū)別腿堤，但CAS是通過硬件命令保證了原子性阀坏，而i++沒有，且硬件級別的原子性比i++這樣高級語言的軟件級別的運(yùn)行速度要快地多笆檀。雖然CAS也包含了多個(gè)操作忌堂，但其的運(yùn)算是固定的(就是個(gè)比較)，這樣的鎖定性能開銷很小酗洒。

隨著互聯(lián)網(wǎng)行業(yè)的興起和硬件多CPU/多內(nèi)核的進(jìn)步士修，高并發(fā)已經(jīng)成為越來越普遍的現(xiàn)象，CAS已經(jīng)被越來越廣泛地使用樱衷，在Java領(lǐng)域也是如此棋嘲。JDK1.4是2002年2月發(fā)布的，當(dāng)時(shí)的硬件設(shè)備遠(yuǎn)沒有如今這么先進(jìn)矩桂，多CPU和多核還沒有普及沸移，所以在JDK1.5之前的synchronized是使用掛起線程、等待調(diào)度的方式來實(shí)現(xiàn)線程同步侄榴，開銷較大;而隨著硬件的不斷升級雹锣，在2004年9月發(fā)布的JDK5中引入了CAS機(jī)制——比較并交換——來徹底解決此問題，在一般情況下不再需要掛起(參考后文對鎖級別的描述癞蚕，只有進(jìn)入重量級鎖的時(shí)候才會使用掛起)蕊爵，而是多次嘗試，其利用底層CPU命令實(shí)現(xiàn)的樂觀鎖機(jī)制桦山。從內(nèi)存領(lǐng)域來說這是樂觀鎖攒射，因?yàn)樗趯蚕碜兞扛轮皶缺容^當(dāng)前值是否與更新前的值一致，如果是恒水，則更新会放，如果不是，則無限循環(huán)執(zhí)行(稱為自旋)寇窑，直到當(dāng)前值與更新前的值一致為止鸦概，才執(zhí)行更新。

以JUC包中的AtomicInteger的代碼為例甩骏，其中的getAndIncrement()方法(獲得并且自增，即i++)源代碼如下：

`/**`

 `* Atomically increments by one the current value.`

 `* [@return](http://my.oschina.net/u/556800) the previous value`

 `*/`

 `public` `final` `int` `getAndIncrement() {`

     `for` `(;;) {`

         `int` `current = get();`

         `int` `next = current + ``1` `;`

         `if` `(compareAndSet(current, next))`

             `return` `current;`

   `}`

 `}`

 `/**`

 `* Atomically sets the value to the given updated value`

 `* if the current value {[@code](http://my.oschina.net/codeo) ==} the expected value.`

 `* [@param](http://my.oschina.net/param) expect the expected value`

 `* [@param](http://my.oschina.net/param) update the new value`

 `* [@return](http://my.oschina.net/u/556800) true if successful. False return indicates that`

 `* the actual value was not equal to the expected value.`

 `*/`

 `public` `final` `boolean` `compareAndSet(` `int` `expect, ``int` `update) {`

     `return` `unsafe.compareAndSwapInt(` `this` `, valueOffset, expect, update);`

 `}`

其調(diào)用了compareAndSet(int expect, int update)方法先慷，其中expect是期望值饮笛，即操作前的原始值，而update是操作后的值论熙，以i=2為例福青，則這里的 expect=2，update=3，它調(diào)用了sun.misc.Unsafe的compareAndSwapInt方法來執(zhí)行无午，此方法代碼如下：

`/***`

 `* Compares the value of the integer field at the specified offset`

 `* in the supplied object with the given expected value, and updates`

 `* it if they match.  The operation of this method should be atomic,`

 `* thus providing an uninterruptible way of updating an integer field.`

 `* @param obj the object containing the field to modify.`

 `* @param offset the offset of the integer field within <code>obj</code>.`

 `* @param expect the expected value of the field.`

 `* @param update the new value of the field if it equals <code>expect</code>.`

 `* @return true if the field was changed.`

 `*/`

 `public` `native` `boolean` `compareAndSwapInt(Object obj, ``long` `offset,`

 `int` `expect, ``int` `update);`

這是一個(gè)本地方法媒役，即利用CAS保證其原子性，同時(shí)如果失敗了則通過循環(huán)不斷地進(jìn)行運(yùn)算直到成功為止宪迟，這是和JDK5以前最大的區(qū)別酣衷，失敗的線程不再需要被掛起、重新調(diào)度次泽，而是可以無障礙地再度執(zhí)行穿仪，這又極大減少了掛起調(diào)度的開銷(當(dāng)然如果CAS長時(shí)間不成功，也會造成耗費(fèi)CPU意荤，這取決于具體應(yīng)用場景)啊片。

CAS策略有如下需要注意的事項(xiàng)：

在線程搶占資源特別頻繁的時(shí)候(相對于CPU執(zhí)行效率而言)，會造成長時(shí)間的自旋玖像，耗費(fèi)CPU性能紫谷。

有ABA問題(即在更新前的值是A，但在操作過程中被其他線程更新為B捐寥，又更新為 A)笤昨，這時(shí)當(dāng)前線程認(rèn)為是可以執(zhí)行的，其實(shí)是發(fā)生了不一致現(xiàn)象上真，如果這種不一致對程序有影響(真正有這種影響的場景很少咬腋，除非是在變量操作過程中以此變量為標(biāo)識位做一些其他的事，比如初始化配置)睡互，則需要使用AtomicStampedReference(除了對更新前的原值進(jìn)行比較根竿，也需要用更新前的 stamp標(biāo)志位來進(jìn)行比較)。

只能對一個(gè)變量進(jìn)行原子性操作就珠。如果需要把多個(gè)變量作為一個(gè)整體來做原子性操作寇壳，則應(yīng)該使用AtomicReference來把這些變量放在一個(gè)對象里，針對這個(gè)對象做原子性操作妻怎。

CAS在JDK5中被JUC包廣泛使用壳炎，在JDK6中被應(yīng)用到synchronized的JVM實(shí)現(xiàn)中，因此在JDK5中JUC的效率是比synchronized高不少的逼侦，而到了JDK6匿辩，兩者效率相差無幾，而synchronized 使用更簡單榛丢、更不容易出錯铲球，所以其是專家組推薦的首選，除非需要用到JUC的特殊功能(如阻塞一段時(shí)間后放棄晰赞，而不是繼續(xù)等待)稼病。