轉(zhuǎn)自 集群 zk 連接數(shù)過多問題排查
【大數(shù)據(jù)】集群 zk 連接數(shù)過多問題排查
背景:
周末接受到信總報(bào)警,說我們查詢 hbase 的服務(wù)日志爆了捉偏,回頭看應(yīng)用日志倒得,發(fā)現(xiàn)一直在報(bào) zk 的連接問題
到集群上看了下 801 主機(jī) zk 連接數(shù)量居然達(dá)到了 2040,查看下 zk 的 maximum client connect 配置為 2000
超過了最大連接數(shù)夭禽,自然會(huì)報(bào)錯(cuò)霞掺。
登陸應(yīng)用主機(jī),輸入
netstat -an | grep -I 2181
檢查和 zk 的連接
發(fā)現(xiàn)確實(shí)上千
思考了一下查詢 hbase 什么時(shí)候會(huì)和 zk 建立連接讹躯?
每次建立 Hbase 連接的時(shí)候會(huì)去建立 zk 的連接菩彬,Hbase 連接應(yīng)該是單例的類缠劝,檢查代碼發(fā)現(xiàn)
Connection 為方法參數(shù),這樣勢(shì)必會(huì)造成 connection 每次創(chuàng)建完不釋放的問題
改為靜態(tài)變量問題解決: