三器紧、redis客戶端管理

Redis提供了客戶端相關的API對其狀態(tài)進行管理容贝,我們可以利用這些api來更好的運維比如:

  1. 客戶端連接數(shù)超過限制
  2. 客戶端連接數(shù)緩沖區(qū)異常(可能客戶端發(fā)了一個異常的請求自脯,超過閾值)
  3. 客戶端長時間不活動(超過idle時間,可主動斷開)
  4. 一直阻塞(可以監(jiān)控正在執(zhí)行那個連接的什么命令)

本文參考《Redis開發(fā)與運維》

客戶端通信協(xié)議

Redis使用RESP(Redis Serialization Protocol)實現(xiàn)客戶端與服務端的交互斤富,這種協(xié)議簡單高效膏潮。比如命令 set hello world:

*3
$3
SET
$5
hello
$5
world
  1. 命令格式
    <參數(shù)數(shù)量>CRLF $<參數(shù)1的字節(jié)數(shù)量> CRLF <參數(shù)1>CRLF
    比如上的的命令,一共3個參數(shù)满力,分別是set焕参、hello、world油额,其長度分別為3叠纷、5、5

  2. 返回格式

    • 狀態(tài)回復:在RESP中的第一個字節(jié)為“+”
    • 錯誤回復:第一個字節(jié)為“-”
    • 整數(shù)回復:第一個字節(jié)為“:”
    • 字符串回復:第一個字節(jié)為“$”
    • 多條字符串回復:第一個字節(jié)為“*”

可以使用telnet命令測試潦嘶,或者實現(xiàn)一個socket來模擬

java客戶端

客戶端操作比較簡單重點關注兩點:

  1. 每次執(zhí)行完不需要連接的時候需要關閉連接
  2. Jedis的連接池使用方法

客戶端API

client list 獲取所有客戶端列表,返回結果為多行數(shù)據(jù)讲岁,每一行代表客戶端的連接信息

  • 標識: id(客戶端唯一標識)、addr(ip和端口)衬以、fd(socket的文件描述符缓艳,如果是1代表是內(nèi)部的偽客戶端)、name(名稱看峻,可以設置)

  • 輸入緩沖區(qū):qbuf阶淘、qbuf-free ,這個的作用是將客戶端發(fā)送的命令臨時保存互妓,同時Redis會從輸入緩沖區(qū)拉取命令并執(zhí)行溪窒。沒有規(guī)定大小,但有最大值1G冯勉,如果超過澈蚌,則會斷開連接,而且如果所有連接的緩沖區(qū)總和超過了總的內(nèi)存限制灼狰,則會產(chǎn)生數(shù)據(jù)丟失宛瞄、OOM的情況。

    主要原因是交胚,redis處理速度跟不上命令的速度份汗,比如包含了大量的bigkey,如何解決呢蝴簇?

    1. 通過定期執(zhí)行client list命令杯活,收集qbuf和qbuf-free找到異常的連接記錄并分析,找到有問題的客戶端(速度比較慢,可能阻塞)熬词。
    2. 通過info clients 命令找到最大的輸入緩沖區(qū)(無法精準定位到具體客戶端)旁钧。
  • 輸出緩沖區(qū):obl吸重、oll、omem歪今,同輸入緩沖區(qū)一樣晤锹,它的作用是保存執(zhí)行的結果。但不同的是彤委,可以設置client-output-buffer-limit鞭铆,提供了更多的選項,內(nèi)部使用動態(tài)緩沖區(qū)和固定緩沖區(qū)結合實現(xiàn)焦影,obl代表固定緩沖區(qū)的長度(對象的個數(shù)车遂,而不是字節(jié)大小),oll代表動態(tài)緩沖區(qū)列表的長度斯辰,omem代表使用的字節(jié)數(shù)舶担。

    $ config get client-output-buffer-limit
    1) "client-output-buffer-limit"
    2) "normal 0 0 0 slave 268435456 67108864 60 pubsub 33554432 8388608 60"
    # <class> <hard limit> <soft limit> <soft seconds> 
    # normal 0 0 0  
    # slave 24M 64M 60
    # pubsub 32M 8M 60
    

    上面代表了三組,分別是普通客戶端彬呻、slave客戶端衣陶、pubsub發(fā)布訂閱客戶端, hard limit 表示緩沖區(qū)超過了該值,立即關閉闸氮,soft表示剪况,超過了該值多長時間才關閉。

    處理方法與輸入緩沖區(qū)類似蒲跨,需要限制普通客戶端的緩沖區(qū)译断,比如高并發(fā)下的monitor命令,但另外需要適當增大slave的輸出緩沖區(qū)或悲,如果master節(jié)點寫入過大孙咪, slave如果緩沖區(qū)溢出,會導致復制重連巡语。

  • 客戶端的存活狀態(tài):age翎蹈、idle分表表示客戶端已連接的時間和空閑時間(距離上一次操作)

  • 客戶端的限制:maxclients 和 timeout,一旦超過最大連接數(shù)男公,新的連接將被拒絕(注意連接泄露)可以使用config get[set] :maxclients查看或設置荤堪,使用info clients查看當前連接數(shù)。timeout用來限制連接的最大空閑時間理澎,也就是上面的idle最大值逞力,如果超過則會斷開曙寡,0表示不限制糠爬。

  • 客戶端類型:flag=S、N举庶、O分別代表slave执隧、普通客戶端、monitor命令。其他可能的狀態(tài):

    flag 表示的類型
    N 普通客戶端
    M master節(jié)點
    S slave節(jié)點
    O 當前客戶端正在執(zhí)行monitor命令
    b 當前客戶端正在等待阻塞
  • GETNAME 獲取當前連接的名字 ID 獲取當前連接的ID镀琉,每個客戶端都有唯一的ID

  • 主動關閉客戶端client kill <ip>:<port>

  • 暫吐袜停客戶端:client pause <timeout> 暫停(阻塞)客戶端一定時間,注意這個時候所有普通和發(fā)布訂閱客戶端都將被阻塞屋摔,這是一個很危險的操作烁设。

  • monitor 監(jiān)控redis狀態(tài),能夠監(jiān)控所有客戶端的命令钓试,一旦redis并發(fā)過大装黑,那么該監(jiān)控客戶端的輸出緩沖區(qū)將會非常大。

  • info stats:除了info clients命令和client list弓熏,info stats也有關于客戶端的狀態(tài)信息

客戶端常見異常

在使用客戶端的時候恋谭,無論是客戶端還是服務端,使用不當就會產(chǎn)生一些問題

  1. 無法獲取到連接

    • 客戶端側連接池配置過小挽鞠,導致無法拿到連接
    • 客戶端沒有正確使用連接池疚颊,比如沒有釋放
    • 客戶端執(zhí)行了慢查詢,導致無法釋放資源
    • 服務端正在執(zhí)行阻塞信认,導致命令或連接超時
  2. 讀寫超時或客戶端連接超時 :

    • 讀寫時間設置過短
    • 命令不合理材义,導致執(zhí)行時間超過閾值
    • 網(wǎng)絡不正常
    • redis自身阻塞
  3. 客戶端緩沖區(qū)異常:

    • 輸出緩沖區(qū)滿,比如用get命令獲取一個超大的數(shù)據(jù)嫁赏,但配置的閾值較小
    • 長時間空閑連接母截,被斷開
    • 不正常的并發(fā)操作連接

案例

  1. Redis內(nèi)存突增,主節(jié)點內(nèi)存達到maxmemory

    • 現(xiàn)象:客戶端無法則正常調(diào)用
    • 原因:1.大量數(shù)據(jù)寫入橄教,主從復制出現(xiàn)問題清寇,2. 緩沖區(qū)不正常,可以排查(monitor命令等)
  2. 客戶端周期性的超時

    • 通過觀察慢查詢?nèi)罩居涗浕さl(fā)現(xiàn)只要有慢查詢就會有大量連接超時华烟。應盡量減少慢查詢
最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市持灰,隨后出現(xiàn)的幾起案子盔夜,更是在濱河造成了極大的恐慌,老刑警劉巖堤魁,帶你破解...
    沈念sama閱讀 217,509評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件喂链,死亡現(xiàn)場離奇詭異,居然都是意外死亡妥泉,警方通過查閱死者的電腦和手機椭微,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,806評論 3 394
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來盲链,“玉大人蝇率,你說我怎么就攤上這事迟杂。” “怎么了本慕?”我有些...
    開封第一講書人閱讀 163,875評論 0 354
  • 文/不壞的土叔 我叫張陵排拷,是天一觀的道長。 經(jīng)常有香客問我锅尘,道長监氢,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,441評論 1 293
  • 正文 為了忘掉前任藤违,我火速辦了婚禮忙菠,結果婚禮上,老公的妹妹穿的比我還像新娘纺弊。我一直安慰自己牛欢,他們只是感情好,可當我...
    茶點故事閱讀 67,488評論 6 392
  • 文/花漫 我一把揭開白布淆游。 她就那樣靜靜地躺著傍睹,像睡著了一般。 火紅的嫁衣襯著肌膚如雪犹菱。 梳的紋絲不亂的頭發(fā)上拾稳,一...
    開封第一講書人閱讀 51,365評論 1 302
  • 那天,我揣著相機與錄音腊脱,去河邊找鬼访得。 笑死,一個胖子當著我的面吹牛陕凹,可吹牛的內(nèi)容都是我干的悍抑。 我是一名探鬼主播,決...
    沈念sama閱讀 40,190評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼杜耙,長吁一口氣:“原來是場噩夢啊……” “哼搜骡!你這毒婦竟也來了?” 一聲冷哼從身側響起佑女,我...
    開封第一講書人閱讀 39,062評論 0 276
  • 序言:老撾萬榮一對情侶失蹤记靡,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后团驱,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體摸吠,經(jīng)...
    沈念sama閱讀 45,500評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,706評論 3 335
  • 正文 我和宋清朗相戀三年嚎花,在試婚紗的時候發(fā)現(xiàn)自己被綠了寸痢。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,834評論 1 347
  • 序言:一個原本活蹦亂跳的男人離奇死亡贩幻,死狀恐怖轿腺,靈堂內(nèi)的尸體忽然破棺而出两嘴,到底是詐尸還是另有隱情丛楚,我是刑警寧澤族壳,帶...
    沈念sama閱讀 35,559評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站趣些,受9級特大地震影響仿荆,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜坏平,卻給世界環(huán)境...
    茶點故事閱讀 41,167評論 3 328
  • 文/蒙蒙 一拢操、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧舶替,春花似錦令境、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,779評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至陈醒,卻和暖如春惕橙,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背钉跷。 一陣腳步聲響...
    開封第一講書人閱讀 32,912評論 1 269
  • 我被黑心中介騙來泰國打工弥鹦, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人爷辙。 一個月前我還...
    沈念sama閱讀 47,958評論 2 370
  • 正文 我出身青樓彬坏,卻偏偏與公主長得像,于是被迫代替她去往敵國和親膝晾。 傳聞我的和親對象是個殘疾皇子苍鲜,可洞房花燭夜當晚...
    茶點故事閱讀 44,779評論 2 354