Go標準庫Context
在 Go http包的Server中构挤,每一個請求在都有一個對應的 goroutine
去處理焊切。請求處理函數(shù)通常會啟動額外的 goroutine
用來訪問后端服務,比如數(shù)據(jù)庫和RPC服務。用來處理一個請求的 goroutine
通常需要訪問一些與請求特定的數(shù)據(jù),比如終端用戶的身份認證信息、驗證相關的token椭岩、請求的截止時間。 當一個請求被取消或超時時璃赡,所有用來處理該請求的 goroutine
都應該迅速退出判哥,然后系統(tǒng)才能釋放這些 goroutine
占用的資源。
為什么需要Context
基本示例
package main
import (
"fmt"
"sync"
"time"
)
var wg sync.WaitGroup
// 初始的例子
func worker() {
for {
fmt.Println("worker")
time.Sleep(time.Second)
}
// 如何接收外部命令實現(xiàn)退出
wg.Done()
}
func main() {
wg.Add(1)
go worker()
// 如何優(yōu)雅的實現(xiàn)結束子goroutine
wg.Wait()
fmt.Println("over")
}
全局變量方式
package main
import (
"fmt"
"sync"
"time"
)
var wg sync.WaitGroup
var exit bool
// 全局變量方式存在的問題:
// 1. 使用全局變量在跨包調(diào)用時不容易統(tǒng)一
// 2. 如果worker中再啟動goroutine碉考,就不太好控制了塌计。
func worker() {
for {
fmt.Println("worker")
time.Sleep(time.Second)
if exit {
break
}
}
wg.Done()
}
func main() {
wg.Add(1)
go worker()
time.Sleep(time.Second * 3) // sleep3秒以免程序過快退出
exit = true // 修改全局變量實現(xiàn)子goroutine的退出
wg.Wait()
fmt.Println("over")
}
通道方式
package main
import (
"fmt"
"sync"
"time"
)
var wg sync.WaitGroup
// 管道方式存在的問題:
// 1. 使用全局變量在跨包調(diào)用時不容易實現(xiàn)規(guī)范和統(tǒng)一,需要維護一個共用的channel
func worker(exitChan chan struct{}) {
LOOP:
for {
fmt.Println("worker")
time.Sleep(time.Second)
select {
case <-exitChan: // 等待接收上級通知
break LOOP
default:
}
}
wg.Done()
}
func main() {
var exitChan = make(chan struct{})
wg.Add(1)
go worker(exitChan)
time.Sleep(time.Second * 3) // sleep3秒以免程序過快退出
exitChan <- struct{}{} // 給子goroutine發(fā)送退出信號
close(exitChan)
wg.Wait()
fmt.Println("over")
}
官方版的方案
package main
import (
"context"
"fmt"
"sync"
"time"
)
var wg sync.WaitGroup
func worker(ctx context.Context) {
LOOP:
for {
fmt.Println("worker")
time.Sleep(time.Second)
select {
case <-ctx.Done(): // 等待上級通知
break LOOP
default:
}
}
wg.Done()
}
func main() {
ctx, cancel := context.WithCancel(context.Background())
wg.Add(1)
go worker(ctx)
time.Sleep(time.Second * 3)
cancel() // 通知子goroutine結束
wg.Wait()
fmt.Println("over")
}
當子goroutine又開啟另外一個goroutine時侯谁,只需要將ctx傳入即可:
package main
import (
"context"
"fmt"
"sync"
"time"
)
var wg sync.WaitGroup
func worker(ctx context.Context) {
go worker2(ctx)
LOOP:
for {
fmt.Println("worker")
time.Sleep(time.Second)
select {
case <-ctx.Done(): // 等待上級通知
break LOOP
default:
}
}
wg.Done()
}
func worker2(ctx context.Context) {
LOOP:
for {
fmt.Println("worker2")
time.Sleep(time.Second)
select {
case <-ctx.Done(): // 等待上級通知
break LOOP
default:
}
}
}
func main() {
ctx, cancel := context.WithCancel(context.Background())
wg.Add(1)
go worker(ctx)
time.Sleep(time.Second * 3)
cancel() // 通知子goroutine結束
wg.Wait()
fmt.Println("over")
}
Context初識
Go1.7加入了一個新的標準庫context
锌仅,它定義了Context
類型,專門用來簡化 對于處理單個請求的多個 goroutine 之間與請求域的數(shù)據(jù)墙贱、取消信號热芹、截止時間等相關操作,這些操作可能涉及多個 API 調(diào)用惨撇。
對服務器傳入的請求應該創(chuàng)建上下文伊脓,而對服務器的傳出調(diào)用應該接受上下文。它們之間的函數(shù)調(diào)用鏈必須傳遞上下文魁衙,或者可以使用WithCancel
报腔、WithDeadline
、WithTimeout
或WithValue
創(chuàng)建的派生上下文剖淀。當一個上下文被取消時榄笙,它派生的所有上下文也被取消。
Context接口
context.Context
是一個接口祷蝌,該接口定義了四個需要實現(xiàn)的方法茅撞。具體簽名如下:
type Context interface {
Deadline() (deadline time.Time, ok bool)
Done() <-chan struct{}
Err() error
Value(key interface{}) interface{}
}
其中:
- Deadline方法需要返回當前Context被取消的時間,也就是完成工作的截止時間(deadline);
- Done方法需要返回一個Channel米丘,這個Channel會在當前工作完成或者上下文被取消之后關閉剑令,多次調(diào)用Done方法會返回同一個Channel;
- Err方法會返回當前Context結束的原因拄查,它只會在Done返回的Channel被關閉時才會返回非空的值吁津;
- 如果當前Context被取消就會返回Canceled錯誤;
- 如果當前Context超時就會返回DeadlineExceeded錯誤堕扶;
-
Value
方法會從Context中返回鍵對應的值碍脏,對于同一個上下文來說,多次調(diào)用Value 并傳入相同的Key會返回相同的結果稍算,該方法僅用于傳遞跨API和進程間跟請求域的數(shù)據(jù)典尾;
Background()和TODO()
Go內(nèi)置兩個函數(shù):Background()
和TODO()
,這兩個函數(shù)分別返回一個實現(xiàn)了Context
接口的background
和todo
糊探。我們代碼中最開始都是以這兩個內(nèi)置的上下文對象作為最頂層的partent context
钾埂,衍生出更多的子上下文對象。
Background()
主要用于main函數(shù)科平、初始化以及測試代碼中褥紫,作為Context
這個樹結構的最頂層的Context
,也就是根Context
瞪慧。
TODO()
髓考,它目前還不知道具體的使用場景,如果我們不知道該使用什么Context
的時候弃酌,可以使用這個绳军。
background
和todo
本質(zhì)上都是emptyCtx
結構體類型,是一個不可取消矢腻,沒有設置截止時間门驾,沒有攜帶任何值的Context
。
With系列函數(shù)
此外多柑,context
包中還定義了四個With
系列函數(shù)奶是。
WithCancel
WithCancel
的函數(shù)簽名如下:
func WithCancel(parent Context) (ctx Context, cancel CancelFunc)
WithCancel
返回帶有新Done
通道的父節(jié)點的副本。當調(diào)用返回的cancel
函數(shù)或當關閉父上下文的Done
通道時竣灌,將關閉返回上下文的Done通道聂沙,無論先發(fā)生什么情況。
取消此上下文將釋放與其關聯(lián)的資源初嘹,因此代碼應該在此上下文中運行的操作完成后立即調(diào)用cancel及汉。
func gen(ctx context.Context) <-chan int {
dst := make(chan int)
n := 1
go func() {
for {
select {
case <-ctx.Done():
return // return結束該goroutine,防止泄露
case dst <- n:
n++
}
}
}()
return dst
}
func main() {
ctx, cancel := context.WithCancel(context.Background())
defer cancel() // 當我們?nèi)⊥晷枰恼麛?shù)后調(diào)用cancel
for n := range gen(ctx) {
fmt.Println(n)
if n == 5 {
break
}
}
}
上面的示例代碼中屯烦,gen
函數(shù)在單獨的goroutine
中生成整數(shù)并將它們發(fā)送到返回的通道坷随。 gen
的調(diào)用者在使用生成的整數(shù)之后需要取消上下文房铭,以免gen
啟動的內(nèi)部goroutine
發(fā)生泄漏。
WithDeadline
WithDeadline
的函數(shù)簽名如下:
func WithDeadline(parent Context, deadline time.Time) (Context, CancelFunc)
返回父上下文的副本温眉,并將deadline調(diào)整為不遲于d缸匪。如果父上下文的deadline已經(jīng)早于d,則WithDeadline(parent, d)
在語義上等同于父上下文类溢。當截止日過期時凌蔬,當調(diào)用返回的cancel函數(shù)時,或者當父上下文的Done通道關閉時闯冷,返回上下文的Done通道將被關閉砂心,以最先發(fā)生的情況為準。
取消此上下文將釋放與其關聯(lián)的資源蛇耀,因此代碼應該在此上下文中運行的操作完成后立即調(diào)用cancel辩诞。
func main() {
d := time.Now().Add(50 * time.Millisecond)
ctx, cancel := context.WithDeadline(context.Background(), d)
// 盡管ctx會過期,但在任何情況下調(diào)用它的cancel函數(shù)都是很好的實踐蒂窒。
// 如果不這樣做躁倒,可能會使上下文及其父類存活的時間超過必要的時間荞怒。
defer cancel()
select {
case <-time.After(1 * time.Second):
fmt.Println("overslept")
case <-ctx.Done():
fmt.Println(ctx.Err())
}
}
上面的代碼中洒琢,定義了一個50毫秒之后過期的deadline,然后我們調(diào)用context.WithDeadline(context.Background(), d)得到一個上下文(ctx)和一個取消函數(shù)(cancel)褐桌,然后使用一個select讓主程序陷入等待:等待1秒后打印overslept退出或者等待ctx過期后退出衰抑。 因為ctx50秒后就過期,所以ctx.Done()會先接收到值荧嵌,上面的代碼會打印ctx.Err()取消原因呛踊。
WithTimeout
WithTimeout
的函數(shù)簽名如下:
func WithTimeout(parent Context, timeout time.Duration) (Context, CancelFunc)
WithTimeout
返回WithDeadline(parent, time.Now().Add(timeout))
。
取消此上下文將釋放與其相關的資源啦撮,因此代碼應該在此上下文中運行的操作完成后立即調(diào)用cancel谭网,通常用于數(shù)據(jù)庫或者網(wǎng)絡連接的超時控制。具體示例如下:
package main
import (
"context"
"fmt"
"sync"
"time"
)
// context.WithTimeout
var wg sync.WaitGroup
func worker(ctx context.Context) {
LOOP:
for {
fmt.Println("db connecting ...")
time.Sleep(time.Millisecond * 10) // 假設正常連接數(shù)據(jù)庫耗時10毫秒
select {
case <-ctx.Done(): // 50毫秒后自動調(diào)用
break LOOP
default:
}
}
fmt.Println("worker done!")
wg.Done()
}
func main() {
// 設置一個50毫秒的超時
ctx, cancel := context.WithTimeout(context.Background(), time.Millisecond*50)
wg.Add(1)
go worker(ctx)
time.Sleep(time.Second * 5)
cancel() // 通知子goroutine結束
wg.Wait()
fmt.Println("over")
}
WithValue
WithValue
函數(shù)能夠?qū)⒄埱笞饔糜虻臄?shù)據(jù)與 Context
對象建立關系赃春。聲明如下:
func WithValue(parent Context, key, val interface{}) Context
WithValue
返回父節(jié)點的副本愉择,其中與key
關聯(lián)的值為val
。
僅對API和進程間傳遞請求域的數(shù)據(jù)使用上下文值织中,而不是使用它來傳遞可選參數(shù)給函數(shù)锥涕。
所提供的鍵必須是可比較的,并且不應該是string
類型或任何其他內(nèi)置類型狭吼,以避免使用上下文在包之間發(fā)生沖突层坠。WithValue
的用戶應該為鍵定義自己的類型。為了避免在分配給interface{}
時進行分配刁笙,上下文鍵通常具有具體類型struct{}
破花∏ぃ或者,導出的上下文關鍵變量的靜態(tài)類型應該是指針或接口旧乞。
package main
import (
"context"
"fmt"
"sync"
"time"
)
// context.WithValue
type TraceCode string
var wg sync.WaitGroup
func worker(ctx context.Context) {
key := TraceCode("TRACE_CODE")
traceCode, ok := ctx.Value(key).(string) // 在子goroutine中獲取trace code
if !ok {
fmt.Println("invalid trace code")
}
LOOP:
for {
fmt.Printf("worker, trace code:%s\n", traceCode)
time.Sleep(time.Millisecond * 10) // 假設正常連接數(shù)據(jù)庫耗時10毫秒
select {
case <-ctx.Done(): // 50毫秒后自動調(diào)用
break LOOP
default:
}
}
fmt.Println("worker done!")
wg.Done()
}
func main() {
// 設置一個50毫秒的超時
ctx, cancel := context.WithTimeout(context.Background(), time.Millisecond*50)
// 在系統(tǒng)的入口中設置trace code傳遞給后續(xù)啟動的goroutine實現(xiàn)日志數(shù)據(jù)聚合
ctx = context.WithValue(ctx, TraceCode("TRACE_CODE"), "12512312234")
wg.Add(1)
go worker(ctx)
time.Sleep(time.Second * 5)
cancel() // 通知子goroutine結束
wg.Wait()
fmt.Println("over")
}
使用Context的注意事項
- 推薦以參數(shù)的方式顯示傳遞Context
- 以Context作為參數(shù)的函數(shù)方法蔚润,應該把Context作為第一個參數(shù)。
- 給一個函數(shù)方法傳遞Context的時候尺栖,不要傳遞nil嫡纠,如果不知道傳遞什么,就使用context.TODO()
- Context的Value相關方法應該傳遞請求域的必要數(shù)據(jù)延赌,不應該用于傳遞可選參數(shù)
- Context是線程安全的除盏,可以放心的在多個goroutine中傳遞
客戶端超時取消示例
調(diào)用服務端API時如何在客戶端實現(xiàn)超時控制?
server端
// context_timeout/server/main.go
package main
import (
"fmt"
"math/rand"
"net/http"
"time"
)
// server端挫以,隨機出現(xiàn)慢響應
func indexHandler(w http.ResponseWriter, r *http.Request) {
number := rand.Intn(2)
if number == 0 {
time.Sleep(time.Second * 10) // 耗時10秒的慢響應
fmt.Fprintf(w, "slow response")
return
}
fmt.Fprint(w, "quick response")
}
func main() {
http.HandleFunc("/", indexHandler)
err := http.ListenAndServe(":8000", nil)
if err != nil {
panic(err)
}
}
client端
// context_timeout/client/main.go
package main
import (
"context"
"fmt"
"io/ioutil"
"net/http"
"sync"
"time"
)
// 客戶端
type respData struct {
resp *http.Response
err error
}
func doCall(ctx context.Context) {
transport := http.Transport{
// 請求頻繁可定義全局的client對象并啟用長鏈接
// 請求不頻繁使用短鏈接
DisableKeepAlives: true, }
client := http.Client{
Transport: &transport,
}
respChan := make(chan *respData, 1)
req, err := http.NewRequest("GET", "http://127.0.0.1:8000/", nil)
if err != nil {
fmt.Printf("new requestg failed, err:%v\n", err)
return
}
req = req.WithContext(ctx) // 使用帶超時的ctx創(chuàng)建一個新的client request
var wg sync.WaitGroup
wg.Add(1)
defer wg.Wait()
go func() {
resp, err := client.Do(req)
fmt.Printf("client.do resp:%v, err:%v\n", resp, err)
rd := &respData{
resp: resp,
err: err,
}
respChan <- rd
wg.Done()
}()
select {
case <-ctx.Done():
//transport.CancelRequest(req)
fmt.Println("call api timeout")
case result := <-respChan:
fmt.Println("call server api success")
if result.err != nil {
fmt.Printf("call server api failed, err:%v\n", result.err)
return
}
defer result.resp.Body.Close()
data, _ := ioutil.ReadAll(result.resp.Body)
fmt.Printf("resp:%v\n", string(data))
}
}
func main() {
// 定義一個100毫秒的超時
ctx, cancel := context.WithTimeout(context.Background(), time.Millisecond*100)
defer cancel() // 調(diào)用cancel釋放子goroutine資源
doCall(ctx)
}