CPU性能優(yōu)化手段-緩存

為了提高程序運(yùn)行的性能雳锋，現(xiàn)代CPU在很多方面對程序進(jìn)行了優(yōu)化。
例如：CPU高速緩存侧啼。盡可能地避免處理器訪問主內(nèi)存的時間開銷挽铁，處理器大多會利用緩存(cache)以提高性能。

image

多級緩存

L1 Cache(一級緩存)是CPU第一層高速緩存剪芍，分為數(shù)據(jù)緩存和指令緩存。一般服務(wù)器CPU的L1緩存的容量通常在32-4096KB。

L2由于L1級高速緩存容量的限制惩嘉，為了再次提高CPU的運(yùn)算速度，在CPU外部放置-高速存儲器踢故，即二級緩存文黎。

L3現(xiàn)在的都是內(nèi)置的。而它的實(shí)際作用即是殿较，L3緩存的應(yīng)用可以進(jìn)一步降低內(nèi)存延遲耸峭，同時提升大數(shù)據(jù)量計(jì)算時處理器的性能。具有較大L3緩存的處理器提供更有效的文件系統(tǒng)緩存行為及較短消息和處理器隊(duì)列長度淋纲。一般是多核共享一個L3緩存劳闹！

CPU在讀取數(shù)據(jù)時，先在L1中尋找洽瞬，再從L2尋找本涕，再從L3尋找，然后是內(nèi)存伙窃，再后是外存儲器菩颖。

緩存同步協(xié)議

多CPU讀取同樣的數(shù)據(jù)進(jìn)行緩存，進(jìn)行不同運(yùn)算之后为障，最終寫入主內(nèi)存以哪個CPU為準(zhǔn)晦闰？

在這種高速緩存回寫的場景下，有一個緩存一致性協(xié)議多數(shù)CPU廠商對它進(jìn)行了實(shí)現(xiàn)鳍怨。

MESI協(xié)議鹅髓，它規(guī)定每條緩存有個狀態(tài)位，同時定義了下面四個狀態(tài)：

• 修改態(tài)(Modified)-此cache行已被修改過(臟行),內(nèi)容已不同于主存京景，為此cache專有窿冯；
• 專有態(tài)(Exclusive)-此cache行內(nèi)容同于主存，但不出現(xiàn)于其它c(diǎn)ache中确徙；
• 共享態(tài)(Shared)-此cache行內(nèi)容同于主存醒串，但也出現(xiàn)于其它c(diǎn)ache中执桌；
• 無效態(tài)(Invalid)-此cache行內(nèi)容無效(空行)。

多處理器芜赌，單個CPU對緩存中數(shù)據(jù)進(jìn)行了改動仰挣，需要通知給其它CPU。也就是意味著缠沈，CPU處理要控制自己的讀寫操作膘壶，還要監(jiān)聽其他CPU發(fā)出的通知，從而保證最終一致洲愤。

CPU性能優(yōu)化手段-運(yùn)行時指令重排

image

指令重排的場景：當(dāng)CPU寫緩存時發(fā)現(xiàn)緩存區(qū)塊正被其他CPU占用颓芭，為了提高CPU處理性能，可能將后面的讀緩存命令優(yōu)先執(zhí)行柬赐。

并非隨便重排亡问，需要遵守as-if-serial語義

as-if-serial語義的意思指：不管怎么重排序(編譯器和處理器為了提高并行度)，(單線程）程序的執(zhí)行結(jié)果不能被改變肛宋。編譯器州藕，runtime和處理器都必須遵守as-if-serial語義。也就是說：編譯器和處理器不會對存在數(shù)據(jù)依賴關(guān)系的操作做重排序酝陈。

兩個問題

1床玻、CPU高速緩存下有一個問題：

緩存中數(shù)據(jù)與主內(nèi)存的數(shù)據(jù)并不是實(shí)時同步的，各CPU(或CPU核心)間緩存的數(shù)據(jù)也不是實(shí)時同步沉帮。

在同一個時間點(diǎn)笨枯，各CPU所看到同一內(nèi)存地址的數(shù)據(jù)的值可能是不一致的。

2遇西、CPU執(zhí)行指令重排序優(yōu)化下有一個問題：

雖然遵守了as-if-serial語義馅精，單僅在單CPU自己執(zhí)行的情況下能保證結(jié)果正確。多核多線程中粱檀，指令邏輯無法分辨因果關(guān)聯(lián)洲敢，可能出現(xiàn)亂序執(zhí)行，導(dǎo)致程序運(yùn)行結(jié)果錯誤茄蚯。

內(nèi)存屏障

處理器提供了兩個內(nèi)存屏障指令(Memory Barrier)用于解決上述兩個問題：

寫內(nèi)存屏障(Store Memory Barrier):在指令后插入Store Barrier,能讓寫入緩存中的最新數(shù)據(jù)更新寫入主內(nèi)存压彭，讓其他線程可見。強(qiáng)制寫入主內(nèi)存渗常，這種顯示調(diào)用壮不，CPU就不會因?yàn)樾阅芸紤]而去對指令重排。

讀內(nèi)存屏障(Load Memory Barrier):在指令前插入Load Barrier,可以讓高速緩存中的數(shù)據(jù)失效皱碘，強(qiáng)制從主內(nèi)存加載數(shù)據(jù)询一。強(qiáng)制讀取主內(nèi)存內(nèi)容，讓CPU緩存與主內(nèi)存保持一致，避免了緩存導(dǎo)致的一致性問題健蕊。

image