1. 線程(Thread)和協(xié)程(Coroutine)的定義
Go語(yǔ)言最大的特色就是從語(yǔ)言層面支持并發(fā)(Goroutine)安吁,Goroutine是Go中最基本的執(zhí)行單元鲸湃。事實(shí)上每一個(gè)Go程序至少有一個(gè)Goroutine:主Goroutine殿较。當(dāng)程序啟動(dòng)時(shí),它會(huì)自動(dòng)創(chuàng)建纬朝。
為了更好理解Goroutine技健,現(xiàn)講一下線程和協(xié)程的概念。
線程(Thread):有時(shí)被稱為輕量級(jí)進(jìn)程(Lightweight Process浪汪,LWP)巴柿,是程序執(zhí)行流的最小單元。一個(gè)標(biāo)準(zhǔn)的線程由線程ID死遭,當(dāng)前指令指針(PC)篮洁,寄存器集合和堆(heap, 一般由程序員分配釋放)棧(stack殃姓,由編譯器自動(dòng)分配釋放 ,存放函數(shù)的參數(shù)值瓦阐,局部變量的值等)組成蜗侈。另外,線程是進(jìn)程中的一個(gè)實(shí)體睡蟋,是被系統(tǒng)獨(dú)立調(diào)度和分派的基本單位踏幻,線程自己不擁有系統(tǒng)資源,只擁有一點(diǎn)兒在運(yùn)行中必不可少的資源戳杀,但它可與同屬一個(gè)進(jìn)程的其它線程共享進(jìn)程所擁有的全部資源该面。
線程擁有自己獨(dú)立的棧和共享的堆夭苗,共享堆,不共享?xiàng)8糇海€程的切換一般也由操作系統(tǒng)調(diào)度题造。
協(xié)程(coroutine):又稱微線程與子例程(或者稱為函數(shù))一樣,協(xié)程(coroutine)也是一種程序組件猾瘸。相對(duì)子例程而言界赔,協(xié)程更為一般和靈活,但在實(shí)踐中使用沒(méi)有子例程那樣廣泛牵触。
和線程類似淮悼,共享堆,不共享?xiàng)@克迹瑓f(xié)程的切換一般由程序員在代碼中顯式控制袜腥。它避免了上下文切換的額外耗費(fèi),兼顧了多線程的優(yōu)點(diǎn)钉汗,簡(jiǎn)化了高并發(fā)程序的復(fù)雜羹令。
Goroutine和其他語(yǔ)言的協(xié)程(coroutine)在使用方式上類似,但從字面意義上來(lái)看不同(一個(gè)是Goroutine儡湾,一個(gè)是coroutine)特恬,再就是協(xié)程是一種協(xié)作任務(wù)控制機(jī)制,在最簡(jiǎn)單的意義上徐钠,協(xié)程不是并發(fā)的癌刽,而Goroutine支持并發(fā)的。因此Goroutine可以理解為一種Go語(yǔ)言的協(xié)程尝丐。同時(shí)它可以運(yùn)行在一個(gè)或多個(gè)線程上显拜。
先給個(gè)簡(jiǎn)單實(shí)例
func loop() {
for i := 0; i < ; i++ {
fmt.Printf("%d ", i)
}
}
func main() {
go loop() // 啟動(dòng)一個(gè)goroutine
loop()
}
2. GO并發(fā)的實(shí)現(xiàn)原理
一、Go并發(fā)模型
Go實(shí)現(xiàn)了兩種并發(fā)形式爹袁。第一種是大家普遍認(rèn)知的:多線程共享內(nèi)存远荠。其實(shí)就是Java或者C++等語(yǔ)言中的多線程開(kāi)發(fā)。另外一種是Go語(yǔ)言特有的失息,也是Go語(yǔ)言推薦的:CSP(communicating sequential processes)并發(fā)模型譬淳。
CSP并發(fā)模型是在1970年左右提出的概念,屬于比較新的概念盹兢,不同于傳統(tǒng)的多線程通過(guò)共享內(nèi)存來(lái)通信邻梆,CSP講究的是“以通信的方式來(lái)共享內(nèi)存”。
請(qǐng)記住下面這句話:
DO NOT COMMUNICATE BY SHARING MEMORY; INSTEAD, SHARE MEMORY BY COMMUNICATING.
“不要以共享內(nèi)存的方式來(lái)通信绎秒,相反浦妄,要通過(guò)通信來(lái)共享內(nèi)存。”
普通的線程并發(fā)模型剂娄,就是像Java蠢涝、C++、或者Python阅懦,他們線程間通信都是通過(guò)共享內(nèi)存的方式來(lái)進(jìn)行的和二。非常典型的方式就是,在訪問(wèn)共享數(shù)據(jù)(例如數(shù)組故黑、Map儿咱、或者某個(gè)結(jié)構(gòu)體或?qū)ο螅┑臅r(shí)候,通過(guò)鎖來(lái)訪問(wèn)场晶,因此混埠,在很多時(shí)候,衍生出一種方便操作的數(shù)據(jù)結(jié)構(gòu)诗轻,叫做“線程安全的數(shù)據(jù)結(jié)構(gòu)”钳宪。例如Java提供的包”java.util.concurrent”中的數(shù)據(jù)結(jié)構(gòu)。Go中也實(shí)現(xiàn)了傳統(tǒng)的線程并發(fā)模型扳炬。
Go的CSP并發(fā)模型吏颖,是通過(guò)goroutine
和channel
來(lái)實(shí)現(xiàn)的。
-
goroutine
是Go語(yǔ)言中并發(fā)的執(zhí)行單位恨樟。有點(diǎn)抽象半醉,其實(shí)就是和傳統(tǒng)概念上的”線程“類似,可以理解為”線程“劝术。 -
channel
是Go語(yǔ)言中各個(gè)并發(fā)結(jié)構(gòu)體(goroutine
)之前的通信機(jī)制缩多。 通俗的講,就是各個(gè)goroutine
之間通信的”管道“养晋,有點(diǎn)類似于Linux中的管道衬吆。
生成一個(gè)goroutine
的方式非常的簡(jiǎn)單:Go一下,就生成了绳泉。
go f();
通信機(jī)制channel
也很方便逊抡,傳數(shù)據(jù)用channel <- data
,取數(shù)據(jù)用<-channel
零酪。
在通信過(guò)程中冒嫡,傳數(shù)據(jù)channel <- data
和取數(shù)據(jù)<-channel
必然會(huì)成對(duì)出現(xiàn),因?yàn)檫@邊傳四苇,那邊取孝凌,兩個(gè)goroutine
之間才會(huì)實(shí)現(xiàn)通信。
而且不管傳還是取蛔琅,必阻塞,直到另外的goroutine
傳或者取為止。
示例如下:
package main
import "fmt"
func main() {
messages := make(chan string)
go func() { messages <- "ping" }()
msg := <-messages
fmt.Println(msg)
}
注意 main()本身也是運(yùn)行了一個(gè)goroutine罗售。
messages:= make(chan int) 這樣就聲明了一個(gè)阻塞式的無(wú)緩沖的通道
chan 是關(guān)鍵字 代表我要?jiǎng)?chuàng)建一個(gè)通道
3.GO并發(fā)模型的實(shí)現(xiàn)原理
我們先從線程講起辜窑,無(wú)論語(yǔ)言層面何種并發(fā)模型,到了操作系統(tǒng)層面寨躁,一定是以線程的形態(tài)存在的穆碎。而操作系統(tǒng)根據(jù)資源訪問(wèn)權(quán)限的不同,體系架構(gòu)可分為用戶空間和內(nèi)核空間职恳;內(nèi)核空間主要操作訪問(wèn)CPU資源所禀、I/O資源、內(nèi)存資源等硬件資源放钦,為上層應(yīng)用程序提供最基本的基礎(chǔ)資源色徘,用戶空間呢就是上層應(yīng)用程序的固定活動(dòng)空間,用戶空間不可以直接訪問(wèn)資源操禀,必須通過(guò)“系統(tǒng)調(diào)用”褂策、“庫(kù)函數(shù)”或“Shell腳本”來(lái)調(diào)用內(nèi)核空間提供的資源。
我們現(xiàn)在的計(jì)算機(jī)語(yǔ)言颓屑,可以狹義的認(rèn)為是一種“軟件”斤寂,它們中所謂的“線程”,往往是用戶態(tài)的線程揪惦,和操作系統(tǒng)本身內(nèi)核態(tài)的線程(簡(jiǎn)稱KSE)遍搞,還是有區(qū)別的。
線程模型的實(shí)現(xiàn)器腋,可以分為以下幾種方式:
用戶級(jí)線程模型
如圖所示溪猿,多個(gè)用戶態(tài)的線程對(duì)應(yīng)著一個(gè)內(nèi)核線程,程序線程的創(chuàng)建蒂培、終止再愈、切換或者同步等線程工作必須自身來(lái)完成。它可以做快速的上下文切換护戳。缺點(diǎn)是不能有效利用多核CPU翎冲。
內(nèi)核級(jí)線程模型
這種模型直接調(diào)用操作系統(tǒng)的內(nèi)核線程,所有線程的創(chuàng)建媳荒、終止抗悍、切換、同步等操作钳枕,都由內(nèi)核來(lái)完成缴渊。一個(gè)用戶態(tài)的線程對(duì)應(yīng)一個(gè)系統(tǒng)線程,它可以利用多核機(jī)制鱼炒,但上下文切換需要消耗額外的資源衔沼。C++就是這種。
兩級(jí)線程模型
這種模型是介于用戶級(jí)線程模型和內(nèi)核級(jí)線程模型之間的一種線程模型。這種模型的實(shí)現(xiàn)非常復(fù)雜指蚁,和內(nèi)核級(jí)線程模型類似菩佑,一個(gè)進(jìn)程中可以對(duì)應(yīng)多個(gè)內(nèi)核級(jí)線程,但是進(jìn)程中的線程不和內(nèi)核線程一一對(duì)應(yīng)凝化;這種線程模型會(huì)先創(chuàng)建多個(gè)內(nèi)核級(jí)線程稍坯,然后用自身的用戶級(jí)線程去對(duì)應(yīng)創(chuàng)建的多個(gè)內(nèi)核級(jí)線程,自身的用戶級(jí)線程需要本身程序去調(diào)度搓劫,內(nèi)核級(jí)的線程交給操作系統(tǒng)內(nèi)核去調(diào)度瞧哟。
M個(gè)用戶線程對(duì)應(yīng)N個(gè)系統(tǒng)線程,缺點(diǎn)增加了調(diào)度器的實(shí)現(xiàn)難度枪向。
Go語(yǔ)言的線程模型就是一種特殊的兩級(jí)線程模型(GPM調(diào)度模型)勤揩。
Go線程實(shí)現(xiàn)模型MPG
M
指的是Machine
,一個(gè)M
直接關(guān)聯(lián)了一個(gè)內(nèi)核線程遣疯。由操作系統(tǒng)管理雄可。
P
指的是”processor”,代表了M
所需的上下文環(huán)境缠犀,也是處理用戶級(jí)代碼邏輯的處理器数苫。它負(fù)責(zé)銜接M和G的調(diào)度上下文,將等待執(zhí)行的G與M對(duì)接辨液。
G
指的是Goroutine
虐急,其實(shí)本質(zhì)上也是一種輕量級(jí)的線程。包括了調(diào)用棧滔迈,重要的調(diào)度信息止吁,例如channel等。
P的數(shù)量由環(huán)境變量中的GOMAXPROCS
決定燎悍,通常來(lái)說(shuō)它是和核心數(shù)對(duì)應(yīng)敬惦,例如在4Core的服務(wù)器上回啟動(dòng)4個(gè)線程。G會(huì)有很多個(gè)谈山,每個(gè)P會(huì)將Goroutine從一個(gè)就緒的隊(duì)列中做Pop操作俄删,為了減小鎖的競(jìng)爭(zhēng),通常情況下每個(gè)P會(huì)負(fù)責(zé)一個(gè)隊(duì)列奏路。
三者關(guān)系如下圖所示:
以上這個(gè)圖講的是兩個(gè)線程(內(nèi)核線程)的情況畴椰。一個(gè)M會(huì)對(duì)應(yīng)一個(gè)內(nèi)核線程,一個(gè)M也會(huì)連接一個(gè)上下文P鸽粉,一個(gè)上下文P相當(dāng)于一個(gè)“處理器”斜脂,一個(gè)上下文連接一個(gè)或者多個(gè)Goroutine。為了運(yùn)行g(shù)oroutine触机,線程必須保存上下文帚戳。
上下文P(Processor)的數(shù)量在啟動(dòng)時(shí)設(shè)置為GOMAXPROCS
環(huán)境變量的值或通過(guò)運(yùn)行時(shí)函數(shù)GOMAXPROCS()
玷或。通常情況下,在程序執(zhí)行期間不會(huì)更改片任。上下文數(shù)量固定意味著只有固定數(shù)量的線程在任何時(shí)候運(yùn)行Go代碼庐椒。我們可以使用它來(lái)調(diào)整Go進(jìn)程到個(gè)人計(jì)算機(jī)的調(diào)用,例如4核PC在4個(gè)線程上運(yùn)行Go代碼蚂踊。
圖中P正在執(zhí)行的Goroutine
為藍(lán)色的;處于待執(zhí)行狀態(tài)的Goroutine
為灰色的笔宿,灰色的Goroutine
形成了一個(gè)隊(duì)列runqueues
犁钟。
Go語(yǔ)言里,啟動(dòng)一個(gè)goroutine很容易:go function 就行泼橘,所以每有一個(gè)go語(yǔ)句被執(zhí)行涝动,runqueue隊(duì)列就在其末尾加入一個(gè)goroutine,一旦上下文運(yùn)行g(shù)oroutine直到調(diào)度點(diǎn)炬灭,它會(huì)從其runqueue中彈出goroutine醋粟,設(shè)置堆棧和指令指針并開(kāi)始運(yùn)行g(shù)oroutine。
拋棄P(Processor)
你可能會(huì)想重归,為什么一定需要一個(gè)上下文米愿,我們能不能直接除去上下文,讓Goroutine
的runqueues
掛到M上呢鼻吮?答案是不行育苟,需要上下文的目的,是讓我們可以直接放開(kāi)其他線程椎木,當(dāng)遇到內(nèi)核線程阻塞的時(shí)候违柏。
一個(gè)很簡(jiǎn)單的例子就是系統(tǒng)調(diào)用sysall
,一個(gè)線程肯定不能同時(shí)執(zhí)行代碼和系統(tǒng)調(diào)用被阻塞香椎,這個(gè)時(shí)候漱竖,此線程M需要放棄當(dāng)前的上下文環(huán)境P,以便可以讓其他的Goroutine
被調(diào)度執(zhí)行畜伐。
如上圖左圖所示馍惹,M0中的G0執(zhí)行了syscall,然后就創(chuàng)建了一個(gè)M1(也有可能來(lái)自線程緩存)烤礁,(轉(zhuǎn)向右圖)然后M0丟棄了P讼积,等待syscall的返回值,M1接受了P脚仔,將·繼續(xù)執(zhí)行Goroutine
隊(duì)列中的其他Goroutine
勤众。
當(dāng)系統(tǒng)調(diào)用syscall結(jié)束后,M0會(huì)“偷”一個(gè)上下文鲤脏,如果不成功们颜,M0就把它的Gouroutine G0放到一個(gè)全局的runqueue中吕朵,將自己置于線程緩存中并進(jìn)入休眠狀態(tài)。全局runqueue是各個(gè)P在運(yùn)行完自己的本地的Goroutine runqueue后用來(lái)拉取新goroutine的地方窥突。P也會(huì)周期性的檢查這個(gè)全局runqueue上的goroutine努溃,否則,全局runqueue上的goroutines可能得不到執(zhí)行而餓死阻问。
均衡的分配工作
按照以上的說(shuō)法梧税,上下文P會(huì)定期的檢查全局的goroutine 隊(duì)列中的goroutine,以便自己在消費(fèi)掉自身Goroutine隊(duì)列的時(shí)候有事可做称近。假如全局goroutine隊(duì)列中的goroutine也沒(méi)了呢第队?就從其他運(yùn)行的中的P的runqueue里偷。
每個(gè)P中的Goroutine
不同導(dǎo)致他們運(yùn)行的效率和時(shí)間也不同刨秆,在一個(gè)有很多P和M的環(huán)境中凳谦,不能讓一個(gè)P跑完自身的Goroutine
就沒(méi)事可做了,因?yàn)榛蛟S其他的P有很長(zhǎng)的goroutine
隊(duì)列要跑衡未,得需要均衡尸执。
該如何解決呢?
Go的做法倒也直接缓醋,從其他P中偷一半如失!
4. Goroutine 小結(jié)
優(yōu)點(diǎn):
1、開(kāi)銷小
POSIX的thread API雖然能夠提供豐富的API送粱,例如配置自己的CPU親和性岖常,申請(qǐng)資源等等,線程在得到了很多與進(jìn)程相同的控制權(quán)的同時(shí)葫督,開(kāi)銷也非常的大竭鞍,在Goroutine中則不需這些額外的開(kāi)銷,所以一個(gè)Golang的程序中可以支持10w級(jí)別的Goroutine橄镜。
每個(gè) goroutine (協(xié)程) 默認(rèn)占用內(nèi)存遠(yuǎn)比 Java 偎快、C 的線程少(goroutine:2KB ,線程:8MB)
2洽胶、調(diào)度性能好
在Golang的程序中晒夹,操作系統(tǒng)級(jí)別的線程調(diào)度,通常不會(huì)做出合適的調(diào)度決策姊氓。例如在GC時(shí)丐怯,內(nèi)存必須要達(dá)到一個(gè)一致的狀態(tài)。在Goroutine機(jī)制里翔横,Golang可以控制Goroutine的調(diào)度读跷,從而在一個(gè)合適的時(shí)間進(jìn)行GC。
在應(yīng)用層模擬的線程禾唁,它避免了上下文切換的額外耗費(fèi)效览,兼顧了多線程的優(yōu)點(diǎn)无切。簡(jiǎn)化了高并發(fā)程序的復(fù)雜度。
缺點(diǎn):
協(xié)程調(diào)度機(jī)制無(wú)法實(shí)現(xiàn)公平調(diào)度丐枉。