open-falcon架構(gòu)介紹「原創(chuàng)」

open-falcon整體架構(gòu)

下圖是open-falcon的整體架構(gòu),模塊比較多辞色,可以看完整篇文章介紹再回頭看這個架構(gòu)圖。

open-falcon架構(gòu)

簡化版架構(gòu)圖

簡化的falcon基本工作流程可描述如下圖所示:

簡化流程

下面就根據(jù)這個簡化版流程圖,介紹下open-falcon到底是怎么工作的立美。

agent

功能:數(shù)據(jù)采集上報(bào),部署在每臺物理機(jī)上碌更。
數(shù)據(jù)到底是什么樣的躲撰?

{
        'endpoint': hostname-of-machine,
        "metric": cpu.busy,
        "timestamp": 1540286013,
        "value": 1.234
}

注:為了簡化,進(jìn)行了字段精簡

怎么采集拢蛋?
基本上都是通過解析linux系統(tǒng)目錄/proc下的文件蔫巩,舉例:

cpu: /proc/stat
load: /proc/loadavg
net: /proc/net/dev

怎么上報(bào)快压?
定時(shí)采集(默認(rèn)每分鐘一次)垃瞧,采集完通過rpc調(diào)用,發(fā)送給transfer模塊

transfer

主要功能:數(shù)據(jù)轉(zhuǎn)發(fā)
啥叫數(shù)據(jù)轉(zhuǎn)發(fā)脉幢?到底干啥的嗦锐?

接收數(shù)據(jù)->非法數(shù)據(jù)過濾->緩存在內(nèi)存中->發(fā)送給不同模塊(graph、judge奕污、opentsdb)

graph

功能:基于環(huán)形數(shù)據(jù)庫rrdtool,存儲監(jiān)控?cái)?shù)據(jù)贾陷,并提供查詢接口
rrdtool是啥玩意嘱根?

1. 存儲數(shù)據(jù)之時(shí),設(shè)置了數(shù)據(jù)保存的時(shí)間该抒,比如一個月,超過一個月的數(shù)據(jù)會被刪除蒋譬。
2. 數(shù)據(jù)以文件的形式存儲在磁盤上

rrdtool數(shù)據(jù)的底層結(jié)構(gòu)是啥?

數(shù)據(jù)保存在以rrd結(jié)尾的文件中愉适,內(nèi)容格式為 時(shí)間戳:值,舉例如下:
1540286013  1.12
1540286073  2.34
1540286133  1.35

是不是很簡單

怎么查詢數(shù)據(jù)剂买?
假設(shè)要查詢hostname1,最近30分鐘癌蓖,load情況

1. 根據(jù)查詢參數(shù)生成文件名:hostname1_load.rrd
2. 讀取這個文件內(nèi)容并返回時(shí)間戳為30分鐘之內(nèi)的數(shù)據(jù)

注:這里對文件名規(guī)則進(jìn)行了簡化

judge

功能:根據(jù)配置的報(bào)警策略,判斷是否需要報(bào)警
策略是什么樣的租副?
以hostname為維度,保存每個機(jī)器配置的所有策略

hostname:[策略1结胀,策略2,...糟港,策略n]

策略舉例:

all(#3) load > 20

意思是:連續(xù)三次負(fù)載超過20就報(bào)警

報(bào)警怎么發(fā)出去?
根據(jù)策略速和,將需要報(bào)警的事件寫入redis剥汤。由alarm模塊定期讀取并發(fā)送出去
寫入redis的數(shù)據(jù)可簡化如下:

{
  'hostname': 'hostname-of-machine',
  '時(shí)間':1540286013,
  '值':1.234
  '策略':'all(#3) load > 20 報(bào)警接收人:張三',
  '報(bào)警次數(shù)':'第三次報(bào)警'
}

注:為方便理解秀姐,對真實(shí)的結(jié)構(gòu)進(jìn)行了改造

alarm

功能:報(bào)警發(fā)送
這個模塊比較簡單,主要實(shí)現(xiàn)以下功能:

1.格式化報(bào)警內(nèi)容
2.簡單的報(bào)警合并
3.報(bào)警發(fā)送:短信痒留、郵件蠢沿、IM

其他模塊

略。

歡迎加入我的知識星球舷蟀,一起討論技術(shù)。Coding A Better Life!

知識星球
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市匈子,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌游岳,老刑警劉巖其徙,帶你破解...
    沈念sama閱讀 217,542評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異访锻,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)朗若,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評論 3 394
  • 文/潘曉璐 我一進(jìn)店門昌罩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人遣总,你說我怎么就攤上這事轨功。” “怎么了古涧?”我有些...
    開封第一講書人閱讀 163,912評論 0 354
  • 文/不壞的土叔 我叫張陵羡滑,是天一觀的道長。 經(jīng)常有香客問我柒昏,道長,這世上最難降的妖魔是什么职祷? 我笑而不...
    開封第一講書人閱讀 58,449評論 1 293
  • 正文 為了忘掉前任有梆,我火速辦了婚禮,結(jié)果婚禮上泥耀,老公的妹妹穿的比我還像新娘。我一直安慰自己首繁,他們只是感情好陨囊,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,500評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著蜘醋,像睡著了一般。 火紅的嫁衣襯著肌膚如雪啸罢。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,370評論 1 302
  • 那天允懂,我揣著相機(jī)與錄音衩匣,去河邊找鬼蕾总。 笑死琅捏,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的蚀浆。 我是一名探鬼主播搜吧,決...
    沈念sama閱讀 40,193評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼秕衙!你這毒婦竟也來了僵刮?” 一聲冷哼從身側(cè)響起据忘,我...
    開封第一講書人閱讀 39,074評論 0 276
  • 序言:老撾萬榮一對情侶失蹤勇吊,失蹤者是張志新(化名)和其女友劉穎窍仰,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體驹吮,經(jīng)...
    沈念sama閱讀 45,505評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,722評論 3 335
  • 正文 我和宋清朗相戀三年啄枕,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了族沃。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片泌参。...
    茶點(diǎn)故事閱讀 39,841評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡常空,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出铣缠,到底是詐尸還是另有隱情兼蜈,我是刑警寧澤拙友,帶...
    沈念sama閱讀 35,569評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站遗契,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏漾根。R本人自食惡果不足惜鲫竞,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,168評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望从绘。 院中可真熱鬧,春花似錦陕截、人聲如沸批什。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至暮的,卻和暖如春合砂,著一層夾襖步出監(jiān)牢的瞬間青扔,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1 269
  • 我被黑心中介騙來泰國打工谈息, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留凛剥,地道東北人。 一個月前我還...
    沈念sama閱讀 47,962評論 2 370
  • 正文 我出身青樓逻炊,卻偏偏與公主長得像犁享,于是被迫代替她去往敵國和親余素。 傳聞我的和親對象是個殘疾皇子炊昆,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,781評論 2 354

推薦閱讀更多精彩內(nèi)容

  • Open-falcon是小米運(yùn)維團(tuán)隊(duì)從互聯(lián)網(wǎng)公司的需求出發(fā)凤巨,根據(jù)多年的運(yùn)維經(jīng)驗(yàn),結(jié)合SRE敢茁、SA、DEVS的使用經(jīng)...
    猴子精h閱讀 5,150評論 1 5
  • 本文遵循「知識共享許可協(xié)議 CC-BY-NC-SA 4.0 International」伸刃,未經(jīng)作者(laiwei)...
    laiwei閱讀 6,524評論 3 19
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,116評論 25 707
  • 用兩張圖告訴你奕枝,為什么你的 App 會卡頓? - Android - 掘金 Cover 有什么料瓶堕? 從這篇文章中你...
    hw1212閱讀 12,723評論 2 59
  • 生活既枯燥的、乏味的宛蚓,又有趣、多彩多樣的远舅,這一切就看你自己怎么過闰蛔。在快節(jié)奏的今天图柏,生活卻被我們過成了這樣子。 1....
    心念有約閱讀 190評論 1 0