日志數(shù)據(jù)的定義。日志數(shù)據(jù)科阎,就是記錄IT系統(tǒng)產(chǎn)生的過程性事件記錄數(shù)據(jù)蒲跨。每一條日志數(shù)據(jù)都包含4W(Who准谚?When谦炒?Where贯莺?What?)內(nèi)容宁改。通過查看日志數(shù)據(jù)缕探,你可以了解到具體哪個用戶、在具體什么時間还蹲、在哪臺設備上或者什么應用系統(tǒng)中爹耗、做了什么具體的操作。
現(xiàn)在所有企業(yè)都面臨著數(shù)字化轉(zhuǎn)型谜喊,未來每一家企業(yè)都會是科技型公司潭兽。IT系統(tǒng)在支撐保障業(yè)務運行的過程中,都是持續(xù)產(chǎn)生大量的日志數(shù)據(jù)斗遏。比如金融行業(yè)的商業(yè)銀行山卦,網(wǎng)上銀行或ATM等核心交易系統(tǒng),是需要不間斷提供實時服務的诵次,每天都可能會產(chǎn)生TB級別甚至PB級別的日志數(shù)據(jù)账蓉。這類非結(jié)構(gòu)化的文本數(shù)據(jù),不仔細看就像亂碼一樣逾一,讓人找不到北铸本。
日志數(shù)據(jù)的來源與分類。日志數(shù)據(jù)的來源主要有服務器遵堵、存儲箱玷、網(wǎng)絡設備、安設備陌宿、操作系統(tǒng)锡足、中間件、數(shù)據(jù)庫限番、業(yè)務系統(tǒng)等舱污。日志數(shù)據(jù)可以分為IT硬件設備狀態(tài)日志和應用系統(tǒng)日志兩大類。硬件設備狀態(tài)日志包括服務器的CPU或內(nèi)存使用狀態(tài)弥虐,存儲設備溫度或磁盤容量等健康度的狀態(tài)扩灯,網(wǎng)絡設備流量或行為分析的狀態(tài)等。應用系統(tǒng)日志包括Windows霜瘪、Linux珠插、Unix操作系統(tǒng)的日志數(shù)據(jù),Oracle颖对、DB2捻撑、SQL Server、Mysql等數(shù)據(jù)庫日志數(shù)據(jù),Apache顾患、Weblogic番捂、Tomcat等中間件日志數(shù)據(jù),還有比如銀行網(wǎng)銀江解、財務等業(yè)務系統(tǒng)日志數(shù)據(jù)设预。
如果按照日志格式分類的話,可以分為以下4種類型:
1犁河、文本類日志數(shù)據(jù)鳖枕。比如把日志數(shù)據(jù)記錄到TXT文本中,這類日志數(shù)據(jù)可以直接打開瀏覽桨螺。
2宾符、系統(tǒng)類日志數(shù)據(jù)。比如愛數(shù)文檔管理系統(tǒng)AnyShare灭翔,所有操作的日志數(shù)據(jù)是記錄在系統(tǒng)中的魏烫。當然一般也可以支持以TXT文本方式導出來保存。
3肝箱、SNMP類日志數(shù)據(jù)则奥。SNMP是簡單網(wǎng)絡管理協(xié)議,主要是解決網(wǎng)絡設備與網(wǎng)管軟件之間通信的協(xié)議狭园。因為網(wǎng)絡設備即SNMP代理會將設備狀態(tài)發(fā)送給網(wǎng)管軟件即SNMP管理,所以日志分析廠商可以通過網(wǎng)管軟件直接獲取SNMP類日志數(shù)據(jù)糊治。
4唱矛、數(shù)據(jù)庫類日志數(shù)據(jù)。以比較普遍的Oracle數(shù)據(jù)庫為例井辜,Oracle數(shù)據(jù)庫由數(shù)據(jù)庫文件绎谦、控制文件和日志文件構(gòu)成。日志文件在Oracle數(shù)據(jù)庫中分為重做日志文件和歸檔日志文件兩種粥脚,重做日志文件是Oracle數(shù)據(jù)庫正常運行不可缺少的文件窃肠,記錄了數(shù)據(jù)庫的操作過程,用于備份和還原刷允。這類關系型數(shù)據(jù)庫的日志數(shù)據(jù)冤留,可以通過ODBC開放數(shù)據(jù)庫互聯(lián)API來讀取。
日志數(shù)據(jù)的特點與作用树灶。日志數(shù)據(jù)每時每刻都在產(chǎn)生纤怒,不但數(shù)據(jù)量大,而且一般都是分散在各個存儲設備中天通,所以IT運維人員如果要想通過手工方式泊窘,找到日志數(shù)據(jù)之間的關聯(lián)性就比較困難。
日志數(shù)據(jù)是所有IT系統(tǒng)操作的過程類數(shù)據(jù),所以對于IT系統(tǒng)運維人員來講烘豹,如果能夠通過日志管理平臺把日志數(shù)據(jù)集中存儲管理起來瓜贾,就可以解決故障定位排查的問題。對于風險管理部門來說携悯,也可以運用日志管理平臺對不同系統(tǒng)的日志數(shù)據(jù)進行串聯(lián)關聯(lián)分析祭芦,控制或者降低企業(yè)運營風險。