Go并發(fā)原理

Go并發(fā)原理

Golang

Go語言是為并發(fā)而生的語言,是為數(shù)不多的在語言層面實現(xiàn)并發(fā)的語言风科;也正是Go語言的并發(fā)特性潘靖,吸引了全球無數(shù)的開發(fā)者。

并發(fā)(concurrency)和并行(parallelism)

并發(fā)(concurrency):指兩個或兩個以上的任務在一段時間內(nèi)被執(zhí)行超埋。我們不必關心這些任務在某一個時間點是否是同時執(zhí)行搏讶,可能同時執(zhí)行,也可能不是霍殴,我們只關心在一段時間內(nèi)媒惕,哪怕是很短的時間(一秒或者兩秒)是否解決了兩個或兩個以上的任務。

并行(parallelism):指兩個或兩個以上的任務在同一時刻被同時執(zhí)行来庭。

并發(fā)說的是邏輯上的概念妒蔚,而并行強調(diào)的是物理運行狀態(tài)。并發(fā)“包含”并行月弛。

詳情請見:Rob Pike 的PPT

Go的CSP并發(fā)模型

Go實現(xiàn)了兩種并發(fā)形式肴盏。第一種是大家普遍認知的:多線程共享內(nèi)存。其實就是Java或者C++等語言中的多線程開發(fā)帽衙。另外一種是Go語言特有的菜皂,也是Go語言推薦的:CSP(Communicating Sequential Processes)并發(fā)模型。

CSP并發(fā)模型是在1970年左右提出的概念厉萝,屬于比較新的概念恍飘,不同于傳統(tǒng)的多線程通過共享內(nèi)存來通信,CSP講究的是“以通信的方式來共享內(nèi)存”谴垫。

請記住下面這句話:

Do not communicate by sharing memory; instead, share memory by communicating. “不要以共享內(nèi)存的方式來通信常侣,相反,要通過通信來共享內(nèi)存弹渔。”

普通的線程并發(fā)模型溯祸,比如Java肢专、C++、或者Python焦辅,線程間通信都是通過共享內(nèi)存的方式來進行的博杖。非常典型的方式就是在訪問共享數(shù)據(jù)(例如數(shù)組、Map筷登、或者某個結構體或對象)的時候剃根,通過鎖來訪問。因此前方,很多時候狈醉,衍生出一種方便操作的數(shù)據(jù)結構,叫做“線程安全的數(shù)據(jù)結構”惠险。例如Java提供的包”java.util.concurrent”中的數(shù)據(jù)結構苗傅。Go中也實現(xiàn)了傳統(tǒng)的線程并發(fā)模型。

Go的CSP并發(fā)模型班巩,是通過goroutine和channel來實現(xiàn)的渣慕。

goroutine 是Go語言中并發(fā)的執(zhí)行單位。有點抽象,其實就是和傳統(tǒng)概念上的“線程”類似逊桦,可以理解為“線程”眨猎。 channel是Go語言中各個并發(fā)結構體(goroutine)之間的通信機制。 通俗的講强经,就是各個goroutine之間通信的“管道”睡陪,有點類似于Linux中的管道。

生成一個goroutine的方式非常的簡單:Go一下夕凝,就生成了宝穗。


go

`go f();` 

通信機制channel也很方便,傳數(shù)據(jù)用channel <- data码秉,取數(shù)據(jù)用<-channel逮矛。

在通信過程中,傳數(shù)據(jù)channel <- data和取數(shù)據(jù)<-channel必然會成對出現(xiàn)转砖,因為這邊傳须鼎,那邊取,兩個goroutine之間才會實現(xiàn)通信府蔗。

而且不管傳還是取晋控,必阻塞,直到另外的goroutine傳或者取為止姓赤。

示例圖解

  • 有兩個goroutine赡译,其中一個發(fā)起了向channel中傳值操作。(goroutine為矩形不铆,channel為箭頭)
send.png
  • 左邊的goroutine開始阻塞蝌焚,等待有人接收。這時候誓斥,右邊的goroutine發(fā)起了接收操作只洒。
accept.png
  • 兩邊goroutine都發(fā)現(xiàn)了對方,于是兩個goroutine開始一傳劳坑、一收毕谴。
communicate.png

這便是Golang CSP并發(fā)模型最基本的形式。

Go并發(fā)模型的實現(xiàn)原理

我們先從線程講起距芬,無論語言層面何種并發(fā)模型涝开,到了操作系統(tǒng)層面,一定是以線程的形態(tài)存在的蔑穴。而操作系統(tǒng)根據(jù)資源訪問權限的不同忠寻,體系架構可分為用戶空間和內(nèi)核空間;內(nèi)核空間主要操作訪問CPU資源存和、I/O資源奕剃、內(nèi)存資源等硬件資源衷旅,為上層應用程序提供最基本的基礎資源,用戶空間則是上層應用程序的固定活動空間纵朋。用戶空間不可以直接訪問資源柿顶,必須通過“系統(tǒng)調(diào)用”、“庫函數(shù)”或“Shell腳本”來調(diào)用內(nèi)核空間提供的資源操软。

我們現(xiàn)在的計算機語言嘁锯,可以狹義的認為是一種“軟件”,它們中所謂的“線程”聂薪,往往是用戶態(tài)的線程家乘,和操作系統(tǒng)本身內(nèi)核態(tài)的線程(簡稱KSE),還是有區(qū)別的藏澳。

線程模型的實現(xiàn)仁锯,可以分為以下幾種方式:

用戶級線程模型

yonghutai.png

如圖所示,多個用戶態(tài)的線程對應著一個內(nèi)核線程翔悠,程序線程的創(chuàng)建业崖、終止、切換或者同步等線程工作必須自身來完成蓄愁。

內(nèi)核級線程模型

neiheji.png

這種模型直接調(diào)用操作系統(tǒng)的內(nèi)核線程双炕,所有線程的創(chuàng)建、終止撮抓、切換妇斤、同步等操作,都由內(nèi)核來完成丹拯。C++就是這種趟济。

兩級線程模型

liangji.png

這種模型是介于用戶級線程模型和內(nèi)核級線程模型之間的一種線程模型。這種模型的實現(xiàn)非常復雜咽笼,和內(nèi)核級線程模型類似,一個進程中可以對應多個內(nèi)核級線程戚炫,但是進程中的線程不和內(nèi)核線程一一對應剑刑;這種線程模型會先創(chuàng)建多個內(nèi)核級線程,然后用自身的用戶級線程去對應創(chuàng)建的多個內(nèi)核級線程双肤,自身的用戶級線程需要本身程序去調(diào)度施掏,內(nèi)核級的線程交給操作系統(tǒng)內(nèi)核去調(diào)度。

Go語言的線程模型就是一種特殊的兩級線程模型茅糜。暫且叫它“MPG”模型吧七芭。

Go線程實現(xiàn)模型MPG

M指的是Machine,一個M直接關聯(lián)了一個內(nèi)核線程蔑赘。 P指的是Processor狸驳,代表了M所需的上下文環(huán)境预明,也是處理用戶級代碼邏輯的處理器。 G指的是Goroutine耙箍,其實本質(zhì)上也是一種輕量級的線程撰糠。

三者關系如下圖所示:


GMPrelation.png

以上這個圖講的是兩個線程(內(nèi)核線程)的情況。一個M會對應一個內(nèi)核線程辩昆,一個M也會連接一個上下文P阅酪,一個上下文P相當于一個“處理器”,一個上下文連接一個或者多個Goroutine汁针。P(Processor)的數(shù)量是在啟動時被設置為環(huán)境變量GOMAXPROCS的值术辐,或者通過運行時調(diào)用函數(shù)runtime.GOMAXPROCS()進行設置。Processor數(shù)量固定意味著任意時刻只有固定數(shù)量的線程在運行go代碼施无。Goroutine中就是我們要執(zhí)行并發(fā)的代碼辉词。圖中P正在執(zhí)行的Goroutine為藍色的;處于待執(zhí)行狀態(tài)的Goroutine為灰色的帆精,灰色的Goroutine形成了一個隊列runqueues较屿。

三者關系的宏觀的圖為:


total.png

拋棄P(Processor)

你可能會想,為什么一定需要一個上下文卓练,我們能不能直接除去上下文隘蝎,讓Goroutine的runqueues掛到M上呢?答案是不行襟企,需要上下文的目的嘱么,是讓我們可以直接放開其他線程,當遇到內(nèi)核線程阻塞的時候顽悼。

一個很簡單的例子就是系統(tǒng)調(diào)用syscall曼振,一個線程肯定不能同時執(zhí)行代碼和系統(tǒng)調(diào)用被阻塞,這個時候蔚龙,此線程M需要放棄當前的上下文環(huán)境P冰评,以便可以讓其他的Goroutine被調(diào)度執(zhí)行。

giveupP.png

如上圖左圖所示木羹,M0中的G0執(zhí)行了syscall甲雅,然后就創(chuàng)建了一個M1(也有可能本身就存在,沒創(chuàng)建)坑填,(轉向右圖)然后M0丟棄了P抛人,等待syscall的返回值,M1接受了P脐瑰,將繼續(xù)執(zhí)行Goroutine隊列中的其他Goroutine妖枚。

當系統(tǒng)調(diào)用syscall結束后,M0會“偷”一個上下文苍在,如果不成功绝页,M0就把它的Goroutine G0放到一個全局的runqueue中荠商,然后自己放到線程池或者轉入休眠狀態(tài)。全局runqueue是各個P在運行完自己的本地的Goroutine runqueue后用來拉取新goroutine的地方抒寂。P也會周期性地檢查這個全局runqueue上的goroutine结啼,否則,全局runqueue上的goroutines可能得不到執(zhí)行而餓死屈芜。

均衡的分配工作

按照以上的說法郊愧,上下文P會定期地檢查全局的goroutine隊列中的goroutine,以便自己在消費掉自身Goroutine隊列的時候有事可做井佑。假如全局goroutine隊列中的goroutine也沒了呢属铁?就從其他運行的中的P的runqueue里偷。

每個P中的Goroutine不同導致它們運行的效率和時間也不同躬翁。在一個有很多P和M的環(huán)境中焦蘑,不能讓一個P跑完自身的Goroutine就沒事可做了,因為或許其他的P有很長的goroutine隊列要跑盒发,得需要均衡例嘱。

示例圖解

Go的做法倒也直接,從其他P中偷一半宁舰!


stealwork.png

參考文獻

  • The Go scheduler
  • 《Go并發(fā)編程第一版》

通過以上對Go語言并發(fā)原理的詳細解析拼卵,相信你對Go語言在并發(fā)處理上的強大功能有了更深刻的理解。在實際開發(fā)中蛮艰,合理使用Go語言的并發(fā)特性腋腮,可以顯著提高程序的執(zhí)行效率和資源利用率。

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末壤蚜,一起剝皮案震驚了整個濱河市即寡,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌袜刷,老刑警劉巖聪富,帶你破解...
    沈念sama閱讀 219,188評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異著蟹,居然都是意外死亡善涨,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評論 3 395
  • 文/潘曉璐 我一進店門草则,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人蟹漓,你說我怎么就攤上這事炕横。” “怎么了葡粒?”我有些...
    開封第一講書人閱讀 165,562評論 0 356
  • 文/不壞的土叔 我叫張陵份殿,是天一觀的道長膜钓。 經(jīng)常有香客問我,道長卿嘲,這世上最難降的妖魔是什么颂斜? 我笑而不...
    開封第一講書人閱讀 58,893評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮拾枣,結果婚禮上沃疮,老公的妹妹穿的比我還像新娘。我一直安慰自己梅肤,他們只是感情好司蔬,可當我...
    茶點故事閱讀 67,917評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著姨蝴,像睡著了一般俊啼。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上左医,一...
    開封第一講書人閱讀 51,708評論 1 305
  • 那天授帕,我揣著相機與錄音,去河邊找鬼浮梢。 笑死跛十,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的黔寇。 我是一名探鬼主播偶器,決...
    沈念sama閱讀 40,430評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼缝裤!你這毒婦竟也來了屏轰?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,342評論 0 276
  • 序言:老撾萬榮一對情侶失蹤憋飞,失蹤者是張志新(化名)和其女友劉穎霎苗,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體榛做,經(jīng)...
    沈念sama閱讀 45,801評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡唁盏,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,976評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了检眯。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片厘擂。...
    茶點故事閱讀 40,115評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖锰瘸,靈堂內(nèi)的尸體忽然破棺而出刽严,到底是詐尸還是另有隱情,我是刑警寧澤避凝,帶...
    沈念sama閱讀 35,804評論 5 346
  • 正文 年R本政府宣布舞萄,位于F島的核電站眨补,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏倒脓。R本人自食惡果不足惜撑螺,卻給世界環(huán)境...
    茶點故事閱讀 41,458評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望崎弃。 院中可真熱鬧甘晤,春花似錦、人聲如沸吊履。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,008評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽艇炎。三九已至酌伊,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間缀踪,已是汗流浹背居砖。 一陣腳步聲響...
    開封第一講書人閱讀 33,135評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留驴娃,地道東北人奏候。 一個月前我還...
    沈念sama閱讀 48,365評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像唇敞,于是被迫代替她去往敵國和親蔗草。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,055評論 2 355