告警的藝術(shù)蚁孔,結(jié)束“狼來了”的困境

《狼來了》的故事家喻戶曉,頻繁發(fā)送錯(cuò)誤信息就會失去人們的信任惋嚎,“重點(diǎn)論”也曾提到:重點(diǎn)太多杠氢,就無所謂重點(diǎn)

基于某種特征值設(shè)置告警條件另伍,我們已經(jīng)司空見慣鼻百。例如:關(guān)注某App的成功率,就設(shè)置“成功率低于98%即發(fā)出告警”摆尝,每分鐘5000筆的業(yè)務(wù)高峰期失敗10筆都不會觸發(fā)告警温艇。但在業(yè)務(wù)低峰期,在總共5筆的交易中失敗1筆堕汞,即可讓“成功率低于90%發(fā)出告警”勺爱。

在類似情況下,單一條件的告警會讓運(yùn)維人員盲顧不暇讯检,甚至無法抉擇琐鲁,日積月累就像“狼來了”一樣,讓真正的問題告警埋沒其中人灼。

作為IT運(yùn)維中不可或缺的一環(huán)围段,告警的準(zhǔn)確性直接決定其他功能是否能夠及時(shí)生效,起到畫龍點(diǎn)睛的作用投放。如何幫助運(yùn)維人員更加精準(zhǔn)的發(fā)現(xiàn)問題奈泪,做到正確和高效,不僅僅是一門科學(xué)跪呈,更是一門藝術(shù)段磨。

新運(yùn)維環(huán)境的需求

現(xiàn)有的運(yùn)維環(huán)境對告警規(guī)則的制定、配置工作的流程都提出了更高的需求:

能盡可能貼近真實(shí)情況

能適應(yīng)各種場景

能簡單配置耗绿,自適應(yīng)性強(qiáng)

EZSonar 復(fù)合告警快速發(fā)現(xiàn)故障

適應(yīng)復(fù)雜的運(yùn)維場景

華青融天的AIOps產(chǎn)品EZSonar是新一代業(yè)務(wù)動態(tài)可視化運(yùn)維產(chǎn)品苹支,具備主動性、靈活性误阻、智能性的能力债蜜,通過機(jī)器學(xué)習(xí)的方式實(shí)現(xiàn)異常檢測晴埂、故障分析、故障關(guān)聯(lián)和精準(zhǔn)告警寻定。

01

復(fù)合告警

運(yùn)維人員可以同時(shí)設(shè)置在每分鐘交易量大于1000筆/s儒洛、響應(yīng)時(shí)間大于100ms、成功率小于95%時(shí)產(chǎn)生告警狼速,這樣告警設(shè)置更加靈活琅锻,符合實(shí)際需求,避免誤報(bào)向胡,同時(shí)可以讓其在工作時(shí)間段內(nèi)生效恼蓬。

02

動態(tài)基線

EZSonar的復(fù)合告警就是為應(yīng)對實(shí)際業(yè)務(wù)中復(fù)雜多變的環(huán)境而生的,它為業(yè)務(wù)設(shè)置動態(tài)基線僵芹,允許把多種告警和指標(biāo)進(jìn)行復(fù)合处硬,同時(shí)滿足多條規(guī)則時(shí)才會觸發(fā)告警,擺脫無法設(shè)置靜態(tài)告警的困境拇派。

03

復(fù)合關(guān)聯(lián)告警

高可用水平擴(kuò)展架構(gòu)已成為業(yè)界標(biāo)配荷辕,一個(gè)App由3臺服務(wù)器集群組成,前端用基于連接或應(yīng)用層信息的數(shù)據(jù)包做負(fù)載均衡分發(fā)件豌。

那么疮方,拿單一或多個(gè)不關(guān)聯(lián)的指標(biāo)該如何衡量數(shù)據(jù)進(jìn)出負(fù)載均衡指標(biāo)的變化?負(fù)載均衡造成的交易丟失或延遲又該如何告警苟径?

華青融天憑借豐富的客戶經(jīng)驗(yàn)案站,為使用者提供檢測進(jìn)出設(shè)備指標(biāo)變化的方式躬审,同時(shí)EZSonar可以:

關(guān)聯(lián)節(jié)點(diǎn)前后兩組會話棘街,定義進(jìn)出負(fù)載均衡的響應(yīng)時(shí)間差

允許設(shè)置多條線路會話,按比例分配或匯總計(jì)算的方式進(jìn)行精準(zhǔn)告警承边,以此評估負(fù)載均衡設(shè)備是否產(chǎn)生偏差

EZSonar 簡單的配置方法

給精準(zhǔn)告警帶來可行性

根據(jù)業(yè)務(wù)的特點(diǎn)遭殉,總有一部分系統(tǒng)運(yùn)行無法準(zhǔn)確找到其規(guī)律或特征。EZSonar通過機(jī)器學(xué)習(xí)發(fā)現(xiàn)業(yè)務(wù)的規(guī)律進(jìn)而自動生成告警規(guī)則博助,有效的幫助運(yùn)維人員從運(yùn)維數(shù)據(jù)中了解系統(tǒng)的運(yùn)行狀態(tài)险污,分析定位故障,實(shí)時(shí)獲取統(tǒng)計(jì)數(shù)據(jù)富岳。

告警規(guī)則越細(xì)蛔糯,其反映業(yè)務(wù)真實(shí)問題的準(zhǔn)確度就越高,同時(shí)顆粒度越細(xì)意味著工作量越大窖式。

例如對于一款擁有1000種交易參數(shù)的App蚁飒,傳統(tǒng)規(guī)則只能挑少數(shù)的幾種到幾十種情況進(jìn)行告警。如果該App有上千個(gè)業(yè)務(wù)節(jié)點(diǎn)該怎么辦萝喘?如果它的參數(shù)數(shù)量實(shí)時(shí)變化又該如何淮逻??

對此琼懊,EZSonar告警設(shè)置只需制定一條規(guī)則便可自動適應(yīng)參數(shù)的無窮變化爬早,無需任何人工干預(yù)哼丈。通過簡化的配置方法給精準(zhǔn)告警帶來了可行性,更重要的是筛严,它的全覆蓋告警可以發(fā)現(xiàn)出現(xiàn)概率小但重要性很高的事件醉旦。

在IT系統(tǒng)和信息架構(gòu)規(guī)模不斷擴(kuò)大的今天,人工分析定位的運(yùn)維方式已很難適應(yīng)快速增長的業(yè)務(wù)需求桨啃。而通過采集當(dāng)前環(huán)境中的運(yùn)維數(shù)據(jù)髓抑,EZSonar利用復(fù)合告警分析,對IT系統(tǒng)中各個(gè)環(huán)節(jié)的問題進(jìn)行快速定位优幸、故障排除和預(yù)測吨拍,為業(yè)務(wù)穩(wěn)定、高效運(yùn)行保駕護(hù)航网杆。

華青融天EZSonar為精細(xì)化告警賦予了全新定義羹饰,高效捕捉“那匹真正的狼”。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末碳却,一起剝皮案震驚了整個(gè)濱河市队秩,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌昼浦,老刑警劉巖馍资,帶你破解...
    沈念sama閱讀 222,000評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異关噪,居然都是意外死亡鸟蟹,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,745評論 3 399
  • 文/潘曉璐 我一進(jìn)店門使兔,熙熙樓的掌柜王于貴愁眉苦臉地迎上來建钥,“玉大人,你說我怎么就攤上這事虐沥⌒芫” “怎么了?”我有些...
    開封第一講書人閱讀 168,561評論 0 360
  • 文/不壞的土叔 我叫張陵欲险,是天一觀的道長镐依。 經(jīng)常有香客問我,道長天试,這世上最難降的妖魔是什么槐壳? 我笑而不...
    開封第一講書人閱讀 59,782評論 1 298
  • 正文 為了忘掉前任,我火速辦了婚禮秋秤,結(jié)果婚禮上宏粤,老公的妹妹穿的比我還像新娘脚翘。我一直安慰自己,他們只是感情好绍哎,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,798評論 6 397
  • 文/花漫 我一把揭開白布来农。 她就那樣靜靜地躺著,像睡著了一般崇堰。 火紅的嫁衣襯著肌膚如雪沃于。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,394評論 1 310
  • 那天海诲,我揣著相機(jī)與錄音繁莹,去河邊找鬼。 笑死特幔,一個(gè)胖子當(dāng)著我的面吹牛咨演,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播蚯斯,決...
    沈念sama閱讀 40,952評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼薄风,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了拍嵌?” 一聲冷哼從身側(cè)響起遭赂,我...
    開封第一講書人閱讀 39,852評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎横辆,沒想到半個(gè)月后撇他,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,409評論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡狈蚤,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,483評論 3 341
  • 正文 我和宋清朗相戀三年困肩,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片炫惩。...
    茶點(diǎn)故事閱讀 40,615評論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡僻弹,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出他嚷,到底是詐尸還是另有隱情,我是刑警寧澤芭毙,帶...
    沈念sama閱讀 36,303評論 5 350
  • 正文 年R本政府宣布筋蓖,位于F島的核電站,受9級特大地震影響退敦,放射性物質(zhì)發(fā)生泄漏粘咖。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,979評論 3 334
  • 文/蒙蒙 一侈百、第九天 我趴在偏房一處隱蔽的房頂上張望瓮下。 院中可真熱鬧翰铡,春花似錦、人聲如沸讽坏。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,470評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽路呜。三九已至迷捧,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間胀葱,已是汗流浹背漠秋。 一陣腳步聲響...
    開封第一講書人閱讀 33,571評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留抵屿,地道東北人庆锦。 一個(gè)月前我還...
    沈念sama閱讀 49,041評論 3 377
  • 正文 我出身青樓,卻偏偏與公主長得像轧葛,于是被迫代替她去往敵國和親肥荔。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,630評論 2 359

推薦閱讀更多精彩內(nèi)容