database/sql一個bug引發(fā)的事故

某次做checklist赌莺,當看到機器的監(jiān)控時窖逗,發(fā)現下午某時刻某臺機器突發(fā)大量CLOSE_WAIT累奈。一下子就懷疑是服務端處理超時了,client主動斷開連接造成的彻桃。然后定位到某個服務下午上線,由于db大量阻塞導致的問題晾蜘。數據庫不是有超時么邻眷,連接和讀寫都有啊剔交?肆饶?

其實這個問題網上也有很多網友反饋,只不過我們這次切切實實的踩到坑了岖常。go1.8也基本修復了這個問題驯镊。下面來看看到底是怎么回事。我們看database/sql這個包就行了。

先看1.7 怎么獲取連接的:
// Out of free connections or we were asked not to use one. If we're not // allowed to open any more connections, make a request and wait. if db.maxOpen > 0 && db.numOpen >= db.maxOpen { // Make the connRequest channel. It's buffered so that the // connectionOpener doesn't block while waiting for the req to be read. req := make(chan connRequest, 1) db.connRequests = append(db.connRequests, req) db.mu.Unlock() ret, ok := <-req if !ok { return nil, errDBClosed } if ret.err == nil && ret.conn.expired(lifetime) { ret.conn.Close() return nil, driver.ErrBadConn } return ret.conn, ret.err }
在看1.8 獲取連接的實現:
// Out of free connections or we were asked not to use one. If we're not // allowed to open any more connections, make a request and wait. if db.maxOpen > 0 && db.numOpen >= db.maxOpen { // Make the connRequest channel. It's buffered so that the // connectionOpener doesn't block while waiting for the req to be read. req := make(chan connRequest, 1) db.connRequests = append(db.connRequests, req) db.mu.Unlock() · // Timeout the connection request with the context. select { case <-ctx.Done(): return nil, ctx.Err() case ret, ok := <-req: if !ok { return nil, errDBClosed } if ret.err == nil && ret.conn.expired(lifetime) { ret.conn.Close() return nil, driver.ErrBadConn } return ret.conn, ret.err } }
很明顯看到在1.7里板惑,一旦connRequest的“消費者”過多橄镜,肯定有很多goroutine會一直等待的,no timeout冯乘,no cancel洽胶。connRequest的實現也是很有趣的,從命名上看是個conn的request裆馒,等待響應和拿到conn姊氓。connRequests是個chan的數組,而chan里面塞了conn喷好。當某goroutine消費完conn后翔横,變成生產者(參考putConnDBLocked方法),從而既能實現goroutine間的通知梗搅,同時又能直接傳遞數據庫連接禾唁。但是問題來了,channel本身是阻塞的些膨,也不支持超時蟀俊。一旦db出現慢查詢啥的,很可能就會導致大量數據庫請求阻塞订雾,蛋疼肢预。
golang的1.8很大程度上支持了context,從sql這個包里也能發(fā)現洼哎,新的大量的xxxContext函數出現了烫映。連接啊、執(zhí)行sql啊噩峦、事務啊锭沟。context.WithTimeout()直接就搞定超時功能了,煩惱不再识补。不但是database族淮,在1.7里net/http也早已大量支持了context∑就浚看來golang本身對context越來越倚重了祝辣,相信以后會看到越來越多的func(ctx context...)。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末切油,一起剝皮案震驚了整個濱河市蝙斜,隨后出現的幾起案子,更是在濱河造成了極大的恐慌澎胡,老刑警劉巖孕荠,帶你破解...
    沈念sama閱讀 218,546評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件娩鹉,死亡現場離奇詭異,居然都是意外死亡稚伍,警方通過查閱死者的電腦和手機弯予,發(fā)現死者居然都...
    沈念sama閱讀 93,224評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來槐瑞,“玉大人熙涤,你說我怎么就攤上這事±ч荩” “怎么了祠挫?”我有些...
    開封第一講書人閱讀 164,911評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長悼沿。 經常有香客問我等舔,道長,這世上最難降的妖魔是什么糟趾? 我笑而不...
    開封第一講書人閱讀 58,737評論 1 294
  • 正文 為了忘掉前任慌植,我火速辦了婚禮,結果婚禮上义郑,老公的妹妹穿的比我還像新娘蝶柿。我一直安慰自己,他們只是感情好非驮,可當我...
    茶點故事閱讀 67,753評論 6 392
  • 文/花漫 我一把揭開白布交汤。 她就那樣靜靜地躺著,像睡著了一般劫笙。 火紅的嫁衣襯著肌膚如雪芙扎。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,598評論 1 305
  • 那天填大,我揣著相機與錄音戒洼,去河邊找鬼。 笑死允华,一個胖子當著我的面吹牛圈浇,可吹牛的內容都是我干的。 我是一名探鬼主播靴寂,決...
    沈念sama閱讀 40,338評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼磷蜀,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了榨汤?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,249評論 0 276
  • 序言:老撾萬榮一對情侶失蹤怎茫,失蹤者是張志新(化名)和其女友劉穎收壕,沒想到半個月后妓灌,有當地人在樹林里發(fā)現了一具尸體,經...
    沈念sama閱讀 45,696評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡蜜宪,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,888評論 3 336
  • 正文 我和宋清朗相戀三年虫埂,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片圃验。...
    茶點故事閱讀 40,013評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡掉伏,死狀恐怖,靈堂內的尸體忽然破棺而出澳窑,到底是詐尸還是另有隱情斧散,我是刑警寧澤,帶...
    沈念sama閱讀 35,731評論 5 346
  • 正文 年R本政府宣布摊聋,位于F島的核電站鸡捐,受9級特大地震影響,放射性物質發(fā)生泄漏麻裁。R本人自食惡果不足惜箍镜,卻給世界環(huán)境...
    茶點故事閱讀 41,348評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望煎源。 院中可真熱鬧色迂,春花似錦、人聲如沸手销。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,929評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽原献。三九已至馏慨,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間姑隅,已是汗流浹背写隶。 一陣腳步聲響...
    開封第一講書人閱讀 33,048評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留讲仰,地道東北人慕趴。 一個月前我還...
    沈念sama閱讀 48,203評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像鄙陡,于是被迫代替她去往敵國和親冕房。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,960評論 2 355

推薦閱讀更多精彩內容