日志數(shù)據(jù)基礎概念解讀

日志數(shù)據(jù)的定義。日志數(shù)據(jù)科阎,就是記錄IT系統(tǒng)產(chǎn)生的過程性事件記錄數(shù)據(jù)蒲跨。每一條日志數(shù)據(jù)都包含4W(Who准谚?When谦炒?Where贯莺?What?)內(nèi)容宁改。通過查看日志數(shù)據(jù)缕探,你可以了解到具體哪個用戶、在具體什么時間还蹲、在哪臺設備上或者什么應用系統(tǒng)中爹耗、做了什么具體的操作。

現(xiàn)在所有企業(yè)都面臨著數(shù)字化轉(zhuǎn)型谜喊,未來每一家企業(yè)都會是科技型公司潭兽。IT系統(tǒng)在支撐保障業(yè)務運行的過程中,都是持續(xù)產(chǎn)生大量的日志數(shù)據(jù)斗遏。比如金融行業(yè)的商業(yè)銀行山卦,網(wǎng)上銀行或ATM等核心交易系統(tǒng),是需要不間斷提供實時服務的诵次,每天都可能會產(chǎn)生TB級別甚至PB級別的日志數(shù)據(jù)账蓉。這類非結(jié)構(gòu)化的文本數(shù)據(jù),不仔細看就像亂碼一樣逾一,讓人找不到北铸本。

日志數(shù)據(jù)的來源與分類。日志數(shù)據(jù)的來源主要有服務器遵堵、存儲箱玷、網(wǎng)絡設備、安設備陌宿、操作系統(tǒng)锡足、中間件、數(shù)據(jù)庫限番、業(yè)務系統(tǒng)等舱污。日志數(shù)據(jù)可以分為IT硬件設備狀態(tài)日志和應用系統(tǒng)日志兩大類。硬件設備狀態(tài)日志包括服務器的CPU或內(nèi)存使用狀態(tài)弥虐,存儲設備溫度或磁盤容量等健康度的狀態(tài)扩灯,網(wǎng)絡設備流量或行為分析的狀態(tài)等。應用系統(tǒng)日志包括Windows霜瘪、Linux珠插、Unix操作系統(tǒng)的日志數(shù)據(jù),Oracle颖对、DB2捻撑、SQL Server、Mysql等數(shù)據(jù)庫日志數(shù)據(jù),Apache顾患、Weblogic番捂、Tomcat等中間件日志數(shù)據(jù),還有比如銀行網(wǎng)銀江解、財務等業(yè)務系統(tǒng)日志數(shù)據(jù)设预。

如果按照日志格式分類的話,可以分為以下4種類型:

1犁河、文本類日志數(shù)據(jù)鳖枕。比如把日志數(shù)據(jù)記錄到TXT文本中,這類日志數(shù)據(jù)可以直接打開瀏覽桨螺。

2宾符、系統(tǒng)類日志數(shù)據(jù)。比如愛數(shù)文檔管理系統(tǒng)AnyShare灭翔,所有操作的日志數(shù)據(jù)是記錄在系統(tǒng)中的魏烫。當然一般也可以支持以TXT文本方式導出來保存。

3肝箱、SNMP類日志數(shù)據(jù)则奥。SNMP是簡單網(wǎng)絡管理協(xié)議,主要是解決網(wǎng)絡設備與網(wǎng)管軟件之間通信的協(xié)議狭园。因為網(wǎng)絡設備即SNMP代理會將設備狀態(tài)發(fā)送給網(wǎng)管軟件即SNMP管理,所以日志分析廠商可以通過網(wǎng)管軟件直接獲取SNMP類日志數(shù)據(jù)糊治。

4唱矛、數(shù)據(jù)庫類日志數(shù)據(jù)。以比較普遍的Oracle數(shù)據(jù)庫為例井辜,Oracle數(shù)據(jù)庫由數(shù)據(jù)庫文件绎谦、控制文件和日志文件構(gòu)成。日志文件在Oracle數(shù)據(jù)庫中分為重做日志文件和歸檔日志文件兩種粥脚,重做日志文件是Oracle數(shù)據(jù)庫正常運行不可缺少的文件窃肠,記錄了數(shù)據(jù)庫的操作過程,用于備份和還原刷允。這類關系型數(shù)據(jù)庫的日志數(shù)據(jù)冤留,可以通過ODBC開放數(shù)據(jù)庫互聯(lián)API來讀取。

日志數(shù)據(jù)的特點與作用树灶。日志數(shù)據(jù)每時每刻都在產(chǎn)生纤怒,不但數(shù)據(jù)量大,而且一般都是分散在各個存儲設備中天通,所以IT運維人員如果要想通過手工方式泊窘,找到日志數(shù)據(jù)之間的關聯(lián)性就比較困難。

日志數(shù)據(jù)是所有IT系統(tǒng)操作的過程類數(shù)據(jù),所以對于IT系統(tǒng)運維人員來講烘豹,如果能夠通過日志管理平臺把日志數(shù)據(jù)集中存儲管理起來瓜贾,就可以解決故障定位排查的問題。對于風險管理部門來說携悯,也可以運用日志管理平臺對不同系統(tǒng)的日志數(shù)據(jù)進行串聯(lián)關聯(lián)分析祭芦,控制或者降低企業(yè)運營風險。

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末蚌卤,一起剝皮案震驚了整個濱河市实束,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌逊彭,老刑警劉巖咸灿,帶你破解...
    沈念sama閱讀 216,402評論 6 499
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異侮叮,居然都是意外死亡避矢,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,377評論 3 392
  • 文/潘曉璐 我一進店門囊榜,熙熙樓的掌柜王于貴愁眉苦臉地迎上來审胸,“玉大人,你說我怎么就攤上這事卸勺∩芭妫” “怎么了?”我有些...
    開封第一講書人閱讀 162,483評論 0 353
  • 文/不壞的土叔 我叫張陵曙求,是天一觀的道長碍庵。 經(jīng)常有香客問我,道長悟狱,這世上最難降的妖魔是什么静浴? 我笑而不...
    開封第一講書人閱讀 58,165評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮挤渐,結(jié)果婚禮上苹享,老公的妹妹穿的比我還像新娘。我一直安慰自己浴麻,他們只是感情好得问,可當我...
    茶點故事閱讀 67,176評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著白胀,像睡著了一般椭赋。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上或杠,一...
    開封第一講書人閱讀 51,146評論 1 297
  • 那天哪怔,我揣著相機與錄音,去河邊找鬼。 笑死认境,一個胖子當著我的面吹牛胚委,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播叉信,決...
    沈念sama閱讀 40,032評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼亩冬,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了硼身?” 一聲冷哼從身側(cè)響起硅急,我...
    開封第一講書人閱讀 38,896評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎佳遂,沒想到半個月后营袜,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,311評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡丑罪,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,536評論 2 332
  • 正文 我和宋清朗相戀三年荚板,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片吩屹。...
    茶點故事閱讀 39,696評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡跪另,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出煤搜,到底是詐尸還是另有隱情免绿,我是刑警寧澤,帶...
    沈念sama閱讀 35,413評論 5 343
  • 正文 年R本政府宣布擦盾,位于F島的核電站针姿,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏厌衙。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,008評論 3 325
  • 文/蒙蒙 一绞绒、第九天 我趴在偏房一處隱蔽的房頂上張望婶希。 院中可真熱鬧,春花似錦蓬衡、人聲如沸喻杈。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽筒饰。三九已至,卻和暖如春壁晒,著一層夾襖步出監(jiān)牢的瞬間瓷们,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,815評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留谬晕,地道東北人碘裕。 一個月前我還...
    沈念sama閱讀 47,698評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像攒钳,于是被迫代替她去往敵國和親帮孔。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,592評論 2 353

推薦閱讀更多精彩內(nèi)容