COVER FORM：https://cdc.tencent.com/2018/09/13/frontend-exception-monitor-research/

image

前端監(jiān)控包括行為監(jiān)控边器、異常監(jiān)控、性能監(jiān)控等突那，本文主要討論異常監(jiān)控妆绞。對(duì)于前端而言，和后端處于同一個(gè)監(jiān)控系統(tǒng)中邓夕，前端有自己的監(jiān)控方案，后端也有自己等監(jiān)控方案顷链，但兩者并不分離目代，因?yàn)橐粋€(gè)用戶在操作應(yīng)用過(guò)程中如果出現(xiàn)異常，有可能是前端引起嗤练，也有可能是后端引起榛了，需要有一個(gè)機(jī)制，將前后端串聯(lián)起來(lái)煞抬，使監(jiān)控本身統(tǒng)一于監(jiān)控系統(tǒng)霜大。因此，即使只討論前端異常監(jiān)控革答，其實(shí)也不能嚴(yán)格區(qū)分前后端界限战坤，而要根據(jù)實(shí)際系統(tǒng)的設(shè)計(jì)，在最終的報(bào)表中體現(xiàn)出監(jiān)控對(duì)開(kāi)發(fā)和業(yè)務(wù)的幫助残拐。

一般而言途茫，一個(gè)監(jiān)控系統(tǒng)，大致可以分為四個(gè)階段：日志采集溪食、日志存儲(chǔ)囊卜、統(tǒng)計(jì)與分析、報(bào)告和警告错沃。

[圖片上傳失敗...(image-94c1f5-1558925142848)]

采集階段：收集異常日志栅组，先在本地做一定的處理，采取一定的方案上報(bào)到服務(wù)器枢析。

存儲(chǔ)階段：后端接收前端上報(bào)的異常日志玉掸，經(jīng)過(guò)一定處理，按照一定的存儲(chǔ)方案存儲(chǔ)登疗。

分析階段：分為機(jī)器自動(dòng)分析和人工分析排截。機(jī)器自動(dòng)分析嫌蚤，通過(guò)預(yù)設(shè)的條件和算法，對(duì)存儲(chǔ)的日志信息進(jìn)行統(tǒng)計(jì)和篩選断傲，發(fā)現(xiàn)問(wèn)題脱吱，觸發(fā)報(bào)警。人工分析认罩，通過(guò)提供一個(gè)可視化的數(shù)據(jù)面板箱蝠，讓系統(tǒng)用戶可以看到具體的日志數(shù)據(jù)，根據(jù)信息垦垂，發(fā)現(xiàn)異常問(wèn)題根源宦搬。

報(bào)警階段：分為告警和預(yù)警。告警按照一定的級(jí)別自動(dòng)報(bào)警劫拗，通過(guò)設(shè)定的渠道间校，按照一定的觸發(fā)規(guī)則進(jìn)行。預(yù)警則在異常發(fā)生前页慷，提前預(yù)判憔足，給出警告。

1 前端異常

前端異常是指在用戶使用Web應(yīng)用時(shí)無(wú)法快速得到符合預(yù)期結(jié)果的情況酒繁，不同的異常帶來(lái)的后果程度不同滓彰，輕則引起用戶使用不悅，重則導(dǎo)致產(chǎn)品無(wú)法使用州袒，使用戶喪失對(duì)產(chǎn)品的認(rèn)可揭绑。

1.1 前端異常分類

根據(jù)異常代碼的后果的程度，對(duì)前端異常的表現(xiàn)分為如下幾類

image.png

a. 出錯(cuò)

界面呈現(xiàn)的內(nèi)容與用戶預(yù)期的內(nèi)容不符郎哭，例如點(diǎn)擊進(jìn)入非目標(biāo)界面他匪，數(shù)據(jù)不準(zhǔn)確，出現(xiàn)的錯(cuò)誤提示不可理解夸研，界面錯(cuò)位诚纸，提交后跳轉(zhuǎn)到錯(cuò)誤界面等情況。這類異常出現(xiàn)時(shí)陈惰，雖然產(chǎn)品本身功能還能正常使用畦徘，但用戶無(wú)法達(dá)成自己目標(biāo)。

b. 呆滯

界面出現(xiàn)操作后沒(méi)有反應(yīng)的現(xiàn)象抬闯，例如點(diǎn)擊按鈕無(wú)法提交井辆，提示成功后無(wú)法繼續(xù)操作。這類異常出現(xiàn)時(shí)溶握，產(chǎn)品已經(jīng)存在界面級(jí)局部不可用現(xiàn)象杯缺。

c. 損壞

界面出現(xiàn)無(wú)法實(shí)現(xiàn)操作目的的現(xiàn)象，例如點(diǎn)擊無(wú)法進(jìn)入目標(biāo)界面睡榆，點(diǎn)擊無(wú)法查看詳情內(nèi)容等萍肆。這類異常出現(xiàn)時(shí)袍榆，應(yīng)用部分功能無(wú)法被正常使用。

d. 假死

界面出現(xiàn)卡頓塘揣，無(wú)法對(duì)任何功能進(jìn)行使用的現(xiàn)象包雀。例如用戶無(wú)法登陸導(dǎo)致無(wú)法使用應(yīng)用內(nèi)功能，由于某個(gè)遮罩層阻擋且不可關(guān)閉導(dǎo)致無(wú)法進(jìn)行任何后續(xù)操作亲铡。這類異常出現(xiàn)時(shí)才写，用戶很可能殺死應(yīng)用。

e. 崩潰

應(yīng)用出現(xiàn)經(jīng)常性自動(dòng)退出或無(wú)法操作的現(xiàn)象奖蔓。例如間歇性crash赞草，網(wǎng)頁(yè)無(wú)法正常加載或加載后無(wú)法進(jìn)行任何操作。這類異常持續(xù)出現(xiàn)吆鹤，將直接導(dǎo)致用戶流失厨疙，影響產(chǎn)品生命力。

1.2 異常錯(cuò)誤原因分類

前端產(chǎn)生異常的原因主要分5類：

image.png

2 異常采集

2.1 采集內(nèi)容

當(dāng)異常出現(xiàn)的時(shí)候疑务，我們需要知道異常的具體信息轰异，根據(jù)異常的具體信息來(lái)決定采用什么樣的解決方案。在采集異常信息時(shí)暑始，可以遵循4W原則：

image.png

a. 用戶信息

出現(xiàn)異常時(shí)該用戶的信息，例如該用戶在當(dāng)前時(shí)刻的狀態(tài)婴削、權(quán)限等廊镜，以及需要區(qū)分用戶可多終端登錄時(shí)，異常對(duì)應(yīng)的是哪一個(gè)終端唉俗。

b. 行為信息

用戶進(jìn)行什么操作時(shí)產(chǎn)生了異常：所在的界面路徑嗤朴；執(zhí)行了什么操作；操作時(shí)使用了哪些數(shù)據(jù)虫溜；當(dāng)時(shí)的API吐了什么數(shù)據(jù)給客戶端雹姊；如果是提交操作，提交了什么數(shù)據(jù)衡楞；上一個(gè)路徑吱雏；上一個(gè)行為日志記錄ID等。

c. 異常信息

產(chǎn)生異常的代碼信息：用戶操作的DOM元素節(jié)點(diǎn)瘾境；異常級(jí)別歧杏；異常類型；異常描述迷守；代碼stack信息等犬绒。

d. 環(huán)境信息

網(wǎng)絡(luò)環(huán)境；設(shè)備型號(hào)和標(biāo)識(shí)碼兑凿；操作系統(tǒng)版本凯力；客戶端版本茵瘾；API接口版本等。

這是一份非常龐大的日志字段表氧吐，它幾乎囊括了一個(gè)異常發(fā)生時(shí)讹蘑，能夠?qū)Ξ惓Ｖ茉猸h(huán)境進(jìn)行詳細(xì)描述的所有信息。不同情況下筑舅，這些字段并不一定都會(huì)收集座慰，由于我們會(huì)采用文檔數(shù)據(jù)庫(kù)存儲(chǔ)日志，因此翠拣，并不影響它的實(shí)際存儲(chǔ)結(jié)果版仔。

2.2 異常捕獲

前端捕獲異常分為全局捕獲和單點(diǎn)捕獲。全局捕獲代碼集中误墓，易于管理蛮粮；單點(diǎn)捕獲作為補(bǔ)充，對(duì)某些特殊情況進(jìn)行捕獲谜慌，但分散然想，不利于管理。

a欣范、全局捕獲

通過(guò)全局的接口变泄，將捕獲代碼集中寫(xiě)在一個(gè)地方，可以利用的接口有：

• window.addEventListener(‘error’) / window.addEventListener(“unhandledrejection”) / document.addEventListener(‘click’) 等
• 框架級(jí)別的全局監(jiān)聽(tīng)恼琼，例如aixos中使用interceptor進(jìn)行攔截杖刷，vue、react都有自己的錯(cuò)誤采集接口
• 通過(guò)對(duì)全局函數(shù)進(jìn)行封裝包裹驳癌，實(shí)現(xiàn)在在調(diào)用該函數(shù)時(shí)自動(dòng)捕獲異常
• 對(duì)實(shí)例方法重寫(xiě)（Patch）滑燃，在原有功能基礎(chǔ)上包裹一層，例如對(duì)console.error進(jìn)行重寫(xiě)颓鲜，在使用方法不變的情況下也可以異常捕獲

b表窘、單點(diǎn)捕獲

在業(yè)務(wù)代碼中對(duì)單個(gè)代碼塊進(jìn)行包裹典予，或在邏輯流程中打點(diǎn)，實(shí)現(xiàn)有針對(duì)性的異常捕獲：

• try…catch
• 專門(mén)寫(xiě)一個(gè)函數(shù)來(lái)收集異常信息乐严，在異常發(fā)生時(shí)瘤袖，調(diào)用該函數(shù)
• 專門(mén)寫(xiě)一個(gè)函數(shù)來(lái)包裹其他函數(shù)，得到一個(gè)新函數(shù)昂验，該新函數(shù)運(yùn)行結(jié)果和原函數(shù)一模一樣捂敌，只是在發(fā)生異常時(shí)可以捕獲異常

2.3 跨域腳本異常

由于瀏覽器安全策略限制，跨域腳本報(bào)錯(cuò)時(shí)既琴，無(wú)法直接獲取錯(cuò)誤的詳細(xì)信息占婉，只能得到一個(gè)Script Error。例如甫恩，我們會(huì)引入第三方依賴逆济，或者將自己的腳本放在CDN時(shí)。

解決Script Error的方法：

方案一：

• 將js內(nèi)聯(lián)到HTML中
• 將js文件與HTML放在同域下

方案二：

1. 為頁(yè)面上script標(biāo)簽添加crossorigin屬性
2. 被引入腳本所在服務(wù)端響應(yīng)頭中磺箕，增加 Access-Control-Allow-Origin 來(lái)支持跨域資源共享

2.4 異常錄制

對(duì)于一個(gè)異常奖慌，僅僅擁有該異常的信息還不足以完全抓住問(wèn)題的本質(zhì)，因?yàn)楫惓０l(fā)生的位置松靡，并不一定是異常根源所在的位置简僧。我們需要對(duì)異常現(xiàn)場(chǎng)進(jìn)行還原雕欺，才能復(fù)原問(wèn)題全貌岛马，甚至避免類似問(wèn)題在其他界面中發(fā)生。這里需要引進(jìn)一個(gè)概念阅茶，就是“異常錄制”。錄制通過(guò)“時(shí)間”“空間”兩個(gè)維度記錄異常發(fā)生前到發(fā)生的整個(gè)過(guò)程谅海，對(duì)于找到異常根源更有幫助脸哀。

image.png

上圖表示，當(dāng)異常發(fā)生時(shí)扭吁，異常的根源可能離我們很遠(yuǎn)撞蜂，我們需要回到異常發(fā)生的現(xiàn)場(chǎng)，找到異常根源侥袜。就像現(xiàn)實(shí)生活中破案一樣蝌诡，如果有監(jiān)控?cái)z影機(jī)對(duì)案發(fā)過(guò)程的錄影，對(duì)破案來(lái)說(shuō)更加容易枫吧。如果僅僅關(guān)注異常本身浦旱，要找到異常的根源，需要憑借運(yùn)氣九杂，但有了異常錄制的幫助颁湖，找到根源就更加容易宣蠕。

所謂的“異常錄制”，實(shí)際上就是通過(guò)技術(shù)手段甥捺，收集用戶的操作過(guò)程抢蚀，對(duì)用戶的每一個(gè)操作都進(jìn)行記錄，在發(fā)生異常時(shí)镰禾，把一定時(shí)間區(qū)間內(nèi)的記錄重新運(yùn)行皿曲，形成影像進(jìn)行播放，讓調(diào)試者無(wú)需向用戶詢問(wèn)吴侦，就能看到用戶當(dāng)時(shí)的操作過(guò)程屋休。

image.png

上圖是來(lái)自阿里的一套異常錄制還原方案示意圖，用戶在界面上的操作產(chǎn)生的events和mutation被產(chǎn)品收集起來(lái)妈倔，上傳到服務(wù)器博投，經(jīng)過(guò)隊(duì)列處理按順序存放到數(shù)據(jù)庫(kù)中。當(dāng)需要進(jìn)行異常重現(xiàn)的時(shí)候盯蝴，將這些記錄從數(shù)據(jù)庫(kù)中取出毅哗，采用一定的技術(shù)方案，順序播放這些記錄捧挺，即可實(shí)現(xiàn)異常還原虑绵。

2.5 異常級(jí)別

一般而言，我們會(huì)將收集信息的級(jí)別分為info闽烙，warn翅睛，error等，并在此基礎(chǔ)上進(jìn)行擴(kuò)展黑竞。

當(dāng)我們監(jiān)控到異常發(fā)生時(shí)捕发，可以將該異常劃分到“重要——緊急”模型中分為A、B很魂、C扎酷、D四個(gè)等級(jí)。有些異常遏匆，雖然發(fā)生了法挨，但是并不影響用戶的正常使用，用戶其實(shí)并沒(méi)有感知到幅聘，雖然理論上應(yīng)該修復(fù)凡纳，但是實(shí)際上相對(duì)于其他異常而言，可以放在后面進(jìn)行處理帝蒿。

image.png

下文會(huì)討論告警策略荐糜，一般而言，越靠近右上角的異常會(huì)越快通知，保證相關(guān)人員能最快接收到信息狞尔，并進(jìn)行處理丛版。A級(jí)異常需要快速響應(yīng)，甚至需要相關(guān)負(fù)責(zé)人知悉偏序。

在收集異常階段页畦，可根據(jù)第一節(jié)劃分的異常后果來(lái)判斷異常的嚴(yán)重程度，在發(fā)生異常時(shí)選擇對(duì)應(yīng)的上報(bào)方案進(jìn)行上報(bào)研儒。

3 整理與上報(bào)方案

前文已經(jīng)提到豫缨，除了異常報(bào)錯(cuò)信息本身，我們還需要記錄用戶操作日志端朵，以實(shí)現(xiàn)場(chǎng)景復(fù)原好芭。這就涉及到上報(bào)的量和頻率問(wèn)題。如果任何日志都立即上報(bào)冲呢，這無(wú)異于自造的DDOS攻擊舍败。因此，我們需要合理的上報(bào)方案敬拓。下文會(huì)介紹4種上報(bào)方案邻薯，但實(shí)際我們不會(huì)僅限于其中一種，而是經(jīng)常同時(shí)使用乘凸，對(duì)不同級(jí)別的日志選擇不同的上報(bào)方案厕诡。

3.1 前端存儲(chǔ)日志

我們前面提到，我們并不單單采集異常本身日志营勤，而且還會(huì)采集與異常相關(guān)的用戶行為日志灵嫌。單純一條異常日志并不能幫助我們快速定位問(wèn)題根源，找到解決方案葛作。但如果要收集用戶的行為日志寿羞，又要采取一定的技巧，而不能用戶每一個(gè)操作后赂蠢，就立即將該行為日志傳到服務(wù)器绪穆，對(duì)于具有大量用戶同時(shí)在線的應(yīng)用，如果用戶一操作就立即上傳日志客年，無(wú)異于對(duì)日志服務(wù)器進(jìn)行DDOS攻擊霞幅。因此漠吻，我們先將這些日志存儲(chǔ)在用戶客戶端本地量瓜，達(dá)到一定條件之后，再同時(shí)打包上傳一組日志途乃。

那么绍傲，如何進(jìn)行前端日志存儲(chǔ)呢？我們不可能直接將這些日志用一個(gè)變量保存起來(lái)，這樣會(huì)擠爆內(nèi)存烫饼，而且一旦用戶進(jìn)行刷新操作猎塞，這些日志就丟失了，因此杠纵，我們自然而然想到前端數(shù)據(jù)持久化方案荠耽。

目前，可用的持久化方案可選項(xiàng)也比較多了比藻，主要有：Cookie铝量、localStorage、sessionStorage银亲、IndexedDB慢叨、webSQL 、FileSystem 等等务蝠。那么該如何選擇呢拍谐？我們通過(guò)一個(gè)表來(lái)進(jìn)行對(duì)比：

綜合之后，IndexedDB是最好的選擇馏段，它具有容量大轩拨、異步的優(yōu)勢(shì)，異步的特性保證它不會(huì)對(duì)界面的渲染產(chǎn)生阻塞毅弧。而且IndexedDB是分庫(kù)的气嫁，每個(gè)庫(kù)又分store，還能按照索引進(jìn)行查詢够坐，具有完整的數(shù)據(jù)庫(kù)管理思維寸宵，比localStorage更適合做結(jié)構(gòu)化數(shù)據(jù)管理。但是它有一個(gè)缺點(diǎn)元咙，就是api非常復(fù)雜梯影，不像localStorage那么簡(jiǎn)單直接。針對(duì)這一點(diǎn)庶香，我們可以使用hello-indexeddb這個(gè)工具甲棍，它用Promise對(duì)復(fù)雜api進(jìn)行來(lái)封裝，簡(jiǎn)化操作赶掖，使IndexedDB的使用也能做到localStorage一樣便捷感猛。另外，IndexedDB是被廣泛支持的HTML5標(biāo)準(zhǔn)奢赂，兼容大部分瀏覽器陪白，因此不用擔(dān)心它的發(fā)展前景。

接下來(lái)膳灶，我們究竟應(yīng)該怎么合理使用IndexedDB咱士，保證我們前端存儲(chǔ)的合理性呢立由？

image.png

上圖展示了前端存儲(chǔ)日志的流程和數(shù)據(jù)庫(kù)布局。當(dāng)一個(gè)事件序厉、變動(dòng)锐膜、異常被捕獲之后，形成一條初始日志弛房，被立即放入暫存區(qū)（indexedDB的一個(gè)store）道盏，之后主程序就結(jié)束了收集過(guò)程，后續(xù)的事只在webworker中發(fā)生文捶。在一個(gè)webworker中捞奕，一個(gè)循環(huán)任務(wù)不斷從暫存區(qū)中取出日志，對(duì)日志進(jìn)行分類拄轻，將分類結(jié)果存儲(chǔ)到索引區(qū)中颅围，并對(duì)日志記錄的信息進(jìn)行豐富，將最終將會(huì)上報(bào)到服務(wù)端的日志記錄轉(zhuǎn)存到歸檔區(qū)恨搓。而當(dāng)一條日志在歸檔區(qū)中存在的時(shí)間超過(guò)一定天數(shù)之后院促，它就已經(jīng)沒(méi)有價(jià)值了，但是為了防止特殊情況斧抱，它被轉(zhuǎn)存到回收區(qū)常拓，再經(jīng)歷一段時(shí)間后，就會(huì)被從回收區(qū)中清除辉浦。

3.2 前端整理日志

上文講到弄抬，在一個(gè)webworker中對(duì)日志進(jìn)行整理后存到索引區(qū)和歸檔區(qū)，那么這個(gè)整理過(guò)程是怎樣的呢宪郊？

由于我們下文要講的上報(bào)掂恕，是按照索引進(jìn)行的，因此弛槐，我們?cè)谇岸说娜罩菊砉ぷ靼猛觯饕褪歉鶕?jù)日志特征，整理出不同的索引乎串。我們?cè)谑占罩緯r(shí)店枣，會(huì)給每一條日志打上一個(gè)type，以此進(jìn)行分類叹誉，并創(chuàng)建索引鸯两，同時(shí)通過(guò)object-hashcode計(jì)算每個(gè)log對(duì)象的hash值，作為這個(gè)log的唯一標(biāo)志长豁。

• 將所有日志記錄按時(shí)序存放在歸檔區(qū)钧唐，并將新入庫(kù)的日志加入索引
• BatchIndexes：批量上報(bào)索引（包含性能等其他日志），可一次批量上報(bào)100條
• MomentIndexes：即時(shí)上報(bào)索引蕉斜，一次全部上報(bào)
• FeedbackIndexes：用戶反饋索引逾柿，一次上報(bào)一條
• BlockIndexes：區(qū)塊上報(bào)索引，按異常/錯(cuò)誤（traceId宅此，requestId）分塊机错，一次上報(bào)一塊
• 上報(bào)完成后，被上報(bào)過(guò)的日志對(duì)應(yīng)的索引刪除
• 3天以上日志進(jìn)入回收區(qū)
• 7天以上的日志從回收區(qū)清除

rquestId：同時(shí)追蹤前后端日志父腕。由于后端也會(huì)記錄自己的日志弱匪，因此，在前端請(qǐng)求api的時(shí)候璧亮，默認(rèn)帶上requestId萧诫，后端記錄的日志就可以和前端日志對(duì)應(yīng)起來(lái)。

traceId：追蹤一個(gè)異常發(fā)生前后的相關(guān)日志枝嘶。當(dāng)應(yīng)用啟動(dòng)時(shí)帘饶，創(chuàng)建一個(gè)traceId，直到一個(gè)異常發(fā)生時(shí)群扶，刷新traceId及刻。把一個(gè)traceId相關(guān)的requestId收集起來(lái)，把這些requestId相關(guān)的日志組合起來(lái)竞阐，就是最終這個(gè)異常相關(guān)的所有日志缴饭，用來(lái)對(duì)異常進(jìn)行復(fù)盤(pán)。

image.png

上圖舉例展示了如何利用traceId和requestId找出和一個(gè)異常相關(guān)的所有日志骆莹。在上圖中颗搂，hash4是一條異常日志，我們找到hash4對(duì)應(yīng)的traceId為traceId2幕垦，在日志列表中丢氢，有兩條記錄具有該traceId，但是hash3這條記錄并不是一個(gè)動(dòng)作的開(kāi)始先改，因?yàn)閔ash3對(duì)應(yīng)的requestId為reqId2卖丸，而reqId2開(kāi)始于hash2，因此盏道，我們實(shí)際上要把hash2也加入到該異常發(fā)生的整個(gè)復(fù)盤(pán)備選記錄中稍浆。總結(jié)起來(lái)就是猜嘱，我們要找出同一個(gè)traceId對(duì)應(yīng)的所有requestId對(duì)應(yīng)的日志記錄衅枫，雖然有點(diǎn)繞，但稍理解就可以明白其中的道理朗伶。

我們把這些和一個(gè)異常相關(guān)的所有日志集合起來(lái)弦撩，稱為一個(gè)block，再利用日志的hash集合论皆，得出這個(gè)block的hash益楼，并在索引區(qū)中建立索引猾漫，等待上報(bào)。

3.3 上報(bào)日志

上報(bào)日志也在webworker中進(jìn)行感凤，為了和整理區(qū)分悯周，可以分兩個(gè)worker。上報(bào)的流程大致為：在每一個(gè)循環(huán)中陪竿，從索引區(qū)取出對(duì)應(yīng)條數(shù)的索引禽翼，通過(guò)索引中的hash，到歸檔區(qū)取出完整的日志記錄族跛，再上傳到服務(wù)器闰挡。

按照上報(bào)的頻率（重要緊急度）可將上報(bào)分為四種：

a. 即時(shí)上報(bào)

收集到日志后，立即觸發(fā)上報(bào)函數(shù)礁哄。僅用于A類異常长酗。而且由于受到網(wǎng)絡(luò)不確定因素影響，A類日志上報(bào)需要有一個(gè)確認(rèn)機(jī)制桐绒，只有確認(rèn)服務(wù)端已經(jīng)成功接收到該上報(bào)信息之后花枫，才算完成。否則需要有一個(gè)循環(huán)機(jī)制掏膏，確保上報(bào)成功劳翰。

b. 批量上報(bào)

將收集到的日志存儲(chǔ)在本地，當(dāng)收集到一定數(shù)量之后再打包一次性上報(bào)馒疹，或者按照一定的頻率（時(shí)間間隔）打包上傳佳簸。這相當(dāng)于把多次合并為一次上報(bào)，以降低對(duì)服務(wù)器的壓力颖变。

c. 區(qū)塊上報(bào)

將一次異常的場(chǎng)景打包為一個(gè)區(qū)塊后進(jìn)行上報(bào)生均。它和批量上報(bào)不同，批量上報(bào)保證了日志的完整性腥刹，全面性马胧，但會(huì)有無(wú)用信息。而區(qū)塊上報(bào)則是針對(duì)異常本身的衔峰，確保單個(gè)異常相關(guān)的日志被全部上報(bào)佩脊。

d. 用戶主動(dòng)提交

在界面上提供一個(gè)按鈕，用戶主動(dòng)反饋bug垫卤。這有利于加強(qiáng)與用戶的互動(dòng)威彰。

或者當(dāng)異常發(fā)生時(shí)，雖然對(duì)用戶沒(méi)有任何影響穴肘，但是應(yīng)用監(jiān)控到了歇盼，彈出一個(gè)提示框，讓用戶選擇是否愿意上傳日志评抚。這種方案適合涉及用戶隱私數(shù)據(jù)時(shí)豹缀。

即時(shí)上報(bào)雖然叫即時(shí)伯复，但是其實(shí)也是通過(guò)類似隊(duì)列的循環(huán)任務(wù)去完成的，它主要是盡快把一些重要的異常提交給監(jiān)控系統(tǒng)邢笙，好讓運(yùn)維人員發(fā)現(xiàn)問(wèn)題啸如，因此，它對(duì)應(yīng)的緊急程度比較高鸣剪。

批量上報(bào)和區(qū)塊上報(bào)的區(qū)別：批量上報(bào)是一次上報(bào)一定條數(shù)伪朽，比如每2分鐘上報(bào)1000條梗摇，直到上報(bào)完成诚撵。而區(qū)塊上報(bào)是在異常發(fā)生之后啦扬，馬上收集和異常相關(guān)的所有日志诱鞠，查詢出哪些日志已經(jīng)由批量上報(bào)上報(bào)過(guò)了津肛，剔除掉嫉戚，把其他相關(guān)日志上傳棒呛，和異常相關(guān)的這些日志相對(duì)而言更重要一些唬滑，它們可以幫助盡快復(fù)原異掣嫠簦現(xiàn)場(chǎng)，找出發(fā)生異常的根源晶密。

用戶提交的反饋信息擒悬，則可以慢悠悠上報(bào)上去。

為了確保上報(bào)是成功的稻艰，在上報(bào)時(shí)需要有一個(gè)確認(rèn)機(jī)制懂牧，由于在服務(wù)端接收到上報(bào)日志之后，并不會(huì)立即存入數(shù)據(jù)庫(kù)尊勿，而是放到一個(gè)隊(duì)列中僧凤，因此，前后端在確保日志確實(shí)已經(jīng)記錄進(jìn)數(shù)據(jù)庫(kù)這一點(diǎn)上需要再做一些處理元扔。

image.png

上圖展示了上報(bào)的一個(gè)大致流程躯保，在上報(bào)時(shí)，先通過(guò)hash查詢澎语，讓客戶端知道準(zhǔn)備要上報(bào)的日志集合中途事，是否存在已經(jīng)被服務(wù)端保存好的日志，如果已經(jīng)存在擅羞，就將這些日志去除盯孙，避免重復(fù)上報(bào)，浪費(fèi)流量祟滴。

3.4 壓縮上報(bào)數(shù)據(jù)

一次性上傳批量數(shù)據(jù)時(shí)振惰，必然遇到數(shù)據(jù)量大，浪費(fèi)流量垄懂，或者傳輸慢等情況骑晶，網(wǎng)絡(luò)不好的狀態(tài)下痛垛，可能導(dǎo)致上報(bào)失敗。因此桶蛔，在上報(bào)之前進(jìn)行數(shù)據(jù)壓縮也是一種方案匙头。

對(duì)于合并上報(bào)這種情況，一次的數(shù)據(jù)量可能要十幾k仔雷，對(duì)于日 pv 大的站點(diǎn)來(lái)說(shuō)蹂析，產(chǎn)生的流量還是很可觀的。所以有必要對(duì)數(shù)據(jù)進(jìn)行壓縮上報(bào)碟婆。lz-string是一個(gè)非常優(yōu)秀的字符串壓縮類庫(kù)电抚，兼容性好，代碼量少竖共，壓縮比高蝙叛，壓縮時(shí)間短，壓縮率達(dá)到驚人的60%公给。但它基于LZ78壓縮借帘，如果后端不支持解壓，可選擇gzip壓縮淌铐，一般而言后端會(huì)默認(rèn)預(yù)裝gzip肺然，因此，選擇gzip壓縮數(shù)據(jù)也可以腿准，工具包pako中自帶了gzip壓縮狰挡，可以嘗試使用。

4 日志接收與存儲(chǔ)

4.1 接入層與消息隊(duì)列

一般通過(guò)提供獨(dú)立的日志服務(wù)器接收客戶端日志释涛，接收過(guò)程中加叁，要對(duì)客戶端日志內(nèi)容的合法性、安全性等進(jìn)行甄別唇撬，防止被人攻擊它匕。而且由于日志提交一般都比較頻繁，多客戶端同時(shí)并發(fā)的情況也常見(jiàn)窖认。通過(guò)消息隊(duì)列將日志信息逐一處理后寫(xiě)入到數(shù)據(jù)庫(kù)進(jìn)行保存也是比較常用的方案豫柬。

image.png

上圖為騰訊BetterJS的架構(gòu)圖，其中“接入層”和“推送中心”就是這里提到的接入層和消息隊(duì)列扑浸。BetterJS將整個(gè)前端監(jiān)控的各個(gè)模塊進(jìn)行拆分烧给，推送中心承擔(dān)了將日志推送到存儲(chǔ)中心進(jìn)行存儲(chǔ)和推送給其他系統(tǒng)（例如告警系統(tǒng)）的角色，但我們可以把接收日志階段的隊(duì)列獨(dú)立出來(lái)看喝噪，在接入層和存儲(chǔ)層之間做一個(gè)過(guò)渡础嫡。

4.2 日志存儲(chǔ)系統(tǒng)

存儲(chǔ)日志是一個(gè)臟活累活，但是不得不做。對(duì)于小應(yīng)用榴鼎，單庫(kù)單表加優(yōu)化就可以應(yīng)付伯诬。一個(gè)成規(guī)模的應(yīng)用，如果要提供更標(biāo)準(zhǔn)高效的日志監(jiān)控服務(wù)巫财，常常需要在日志存儲(chǔ)架構(gòu)上下一些功夫盗似。目前業(yè)界已經(jīng)有比較完備的日志存儲(chǔ)方案，主要有：Hbase系平项，Dremel系赫舒，Lucene系等∶銎埃總體而言接癌，日志存儲(chǔ)系統(tǒng)主要面對(duì)的問(wèn)題是數(shù)據(jù)量大，數(shù)據(jù)結(jié)構(gòu)不規(guī)律鸳粉，寫(xiě)入并發(fā)高扔涧，查詢需求大等园担。一般一套日志存儲(chǔ)系統(tǒng)届谈，要解決上面這些問(wèn)題，就要解決寫(xiě)入的緩沖弯汰，存儲(chǔ)介質(zhì)按日志時(shí)間選擇艰山，為方便快速讀取而設(shè)計(jì)合理的索引系統(tǒng)等等。

由于日志存儲(chǔ)系統(tǒng)方案比較成熟咏闪，這里就不再做更多討論曙搬。

4.3 搜索

日志的最終目的是要使用，由于一般日志的體量都非常大鸽嫂，因此纵装，要在龐大的數(shù)據(jù)中找到需要的日志記錄，需要依賴比較好的搜索引擎据某。Splunk是一套成熟的日志存儲(chǔ)系統(tǒng)橡娄，但它是付費(fèi)使用的。按照Splunk的框架癣籽，Elk是Splunk的開(kāi)源實(shí)現(xiàn)挽唉，Elk是ElasticSearch、Logstash筷狼、Kibana的結(jié)合瓶籽，ES基于Lucene的存儲(chǔ)、索引的搜索引擎埂材；logstash是提供輸入輸出及轉(zhuǎn)化處理插件的日志標(biāo)準(zhǔn)化管道塑顺；Kibana提供可視化和查詢統(tǒng)計(jì)的用戶界面。

5 日志統(tǒng)計(jì)與分析

一個(gè)完善的日志統(tǒng)計(jì)分析工具需要提供各方面方便的面板俏险，以可視化的方式給日志管理員和開(kāi)發(fā)者反饋信息茬暇。

5.1 用戶緯度

同一個(gè)用戶的不同請(qǐng)求實(shí)際上會(huì)形成不同的story線首昔，因此，針對(duì)用戶的一系列操作設(shè)計(jì)唯一的request id是有必要的糙俗。同一個(gè)用戶在不同終端進(jìn)行操作時(shí)勒奇，也能進(jìn)行區(qū)分。用戶在進(jìn)行某個(gè)操作時(shí)的狀態(tài)巧骚、權(quán)限等信息赊颠，也需要在日志系統(tǒng)中予以反應(yīng)。

5.2 時(shí)間維度

一個(gè)異常是怎么發(fā)生的劈彪，需要將異常操作的前后story線串聯(lián)起來(lái)觀察竣蹦。它不單單涉及一個(gè)用戶的一次操作，甚至不限于某一個(gè)頁(yè)面沧奴，而是一連串事件的最終結(jié)果痘括。

5.3 性能維度

應(yīng)用運(yùn)行過(guò)程中的性能情況，例如滔吠，界面加載時(shí)間纲菌，api請(qǐng)求時(shí)長(zhǎng)統(tǒng)計(jì)，單元計(jì)算的消耗疮绷，用戶呆滯時(shí)間翰舌。

5.4 運(yùn)行環(huán)境維度

應(yīng)用及服務(wù)所運(yùn)行的環(huán)境情況，例如應(yīng)用所在的網(wǎng)絡(luò)環(huán)境冬骚，操作系統(tǒng)椅贱，設(shè)備硬件信息等，服務(wù)器cpu只冻、內(nèi)存狀況庇麦，網(wǎng)絡(luò)、寬帶使用情況等喜德。

5.4 細(xì)粒度代碼追蹤

異常的代碼stack信息山橄，定位到發(fā)生異常的代碼位置和異常堆棧。

5.6 場(chǎng)景回溯

通過(guò)將異常相關(guān)的用戶日志連接起來(lái)住诸，以動(dòng)態(tài)的效果輸出發(fā)生異常的過(guò)程驾胆。

6 監(jiān)控與通知

對(duì)異常進(jìn)行統(tǒng)計(jì)和分析只是基礎(chǔ)，而在發(fā)現(xiàn)異常時(shí)可以推送和告警贱呐，甚至做到自動(dòng)處理丧诺，才是一個(gè)異常監(jiān)控系統(tǒng)應(yīng)該具備的能力。

6.1 自定義觸發(fā)條件的告警

a. 監(jiān)控實(shí)現(xiàn)

當(dāng)日志信息進(jìn)入接入層時(shí)奄薇，就可以觸發(fā)監(jiān)控邏輯驳阎。當(dāng)日志信息中存在較為高級(jí)別的異常時(shí)，也可以立即出發(fā)告警。告警消息隊(duì)列和日志入庫(kù)隊(duì)列可以分開(kāi)來(lái)管理呵晚，實(shí)現(xiàn)并行蜘腌。

對(duì)入庫(kù)日志信息進(jìn)行統(tǒng)計(jì)，對(duì)異常信息進(jìn)行告警饵隙。對(duì)監(jiān)控異常進(jìn)行響應(yīng)撮珠。所謂監(jiān)控異常，是指：有規(guī)律的異常一般而言都比較讓人放心金矛，比較麻煩的是突然之間的異常芯急。例如在某一時(shí)段突然頻繁接收到D級(jí)異常，雖然D級(jí)異常是不緊急一般重要驶俊，但是當(dāng)監(jiān)控本身發(fā)生異常時(shí)娶耍，就要提高警惕。

b. 自定義觸發(fā)條件

除了系統(tǒng)開(kāi)發(fā)時(shí)配置的默認(rèn)告警條件饼酿，還應(yīng)該提供給日志管理員可配置的自定義觸發(fā)條件榕酒。

• 日志內(nèi)含有什么內(nèi)容時(shí)
• 日志統(tǒng)計(jì)達(dá)到什么度、量時(shí)
• 向符合什么條件的用戶告警

6.2 推送渠道

可選擇的途徑有很多故俐，例如郵件想鹰、短信、微信购披、電話杖挣。

6.3 推送頻率

針對(duì)不同級(jí)別的告警肩榕，推送的頻率也可以進(jìn)行設(shè)定刚陡。低風(fēng)險(xiǎn)告警可以以報(bào)告的形式一天推送一次，高風(fēng)險(xiǎn)告警10分鐘循環(huán)推送株汉，直到處理人手動(dòng)關(guān)閉告警開(kāi)關(guān)筐乳。

6.4 自動(dòng)報(bào)表

對(duì)于日志統(tǒng)計(jì)信息的推送，可以做到自動(dòng)生成日?qǐng)?bào)乔妈、周報(bào)蝙云、月報(bào)、年報(bào)并郵件發(fā)送給相關(guān)群組路召。

6.5 自動(dòng)產(chǎn)生bug工單

當(dāng)異常發(fā)生時(shí)勃刨，系統(tǒng)可以調(diào)用工單系統(tǒng)API實(shí)現(xiàn)自動(dòng)生成bug單，工單關(guān)閉后反饋給監(jiān)控系統(tǒng)股淡，形成對(duì)異常處理的追蹤信息進(jìn)行記錄身隐，在報(bào)告中予以展示。

7 修復(fù)異常

7.1 sourcemap

前端代碼大部分情況都是經(jīng)過(guò)壓縮后發(fā)布的唯灵，上報(bào)的stack信息需要還原為源碼信息贾铝，才能快速定位源碼進(jìn)行修改。

發(fā)布時(shí)，只部署js腳本到服務(wù)器上垢揩，將sourcemap文件上傳到監(jiān)控系統(tǒng)玖绿，在監(jiān)控系統(tǒng)中展示stack信息時(shí)，利用sourcemap文件對(duì)stack信息進(jìn)行解碼叁巨，得到源碼中的具體信息斑匪。

但是這里有一個(gè)問(wèn)題，就是sourcemap必須和正式環(huán)境的版本對(duì)應(yīng)锋勺，還必須和git中的某個(gè)commit節(jié)點(diǎn)對(duì)應(yīng)秤标，這樣才能保證在查異常的時(shí)候可以正確利用stack信息，找到出問(wèn)題所在版本的代碼宙刘。這些可以通過(guò)建立CI任務(wù)苍姜，在集成化部署中增加一個(gè)部署流程，以實(shí)現(xiàn)這一環(huán)節(jié)悬包。

7.2 從告警到預(yù)警

預(yù)警的本質(zhì)是衙猪，預(yù)設(shè)可能出現(xiàn)異常的條件，當(dāng)觸發(fā)該條件時(shí)異常并沒(méi)有真實(shí)發(fā)生布近，因此垫释，可以趕在異常發(fā)生之前對(duì)用戶行為進(jìn)行檢查，及時(shí)修復(fù)撑瞧，避免異晨闷或異常擴(kuò)大。

怎么做呢预伺？其實(shí)就是一個(gè)統(tǒng)計(jì)聚類的過(guò)程订咸。將歷史中發(fā)生異常的情況進(jìn)行統(tǒng)計(jì)，從時(shí)間酬诀、地域脏嚷、用戶等不同維度加以統(tǒng)計(jì)，找出規(guī)律瞒御，并將這些規(guī)律通過(guò)算法自動(dòng)加入到預(yù)警條件中父叙，當(dāng)下次觸發(fā)時(shí)，及時(shí)預(yù)警肴裙。

7.3 智能修復(fù)

自動(dòng)修復(fù)錯(cuò)誤趾唱。例如，前端要求接口返回?cái)?shù)值蜻懦，但接口返回了數(shù)值型的字符串甜癞，那么可以有一種機(jī)制，監(jiān)控系統(tǒng)發(fā)送正確數(shù)據(jù)類型模型給后端阻肩，后端在返回?cái)?shù)據(jù)時(shí)带欢，根據(jù)該模型控制每個(gè)字段的類型运授。

8 異常測(cè)試

8.1 主動(dòng)異常測(cè)試

撰寫(xiě)異常用例，在自動(dòng)化測(cè)試系統(tǒng)中乔煞，加入異常測(cè)試用戶吁朦。在測(cè)試或運(yùn)行過(guò)程中，每發(fā)現(xiàn)一個(gè)異常渡贾，就將它加入到原有的異常用例列表中逗宜。

8.2 隨機(jī)異常測(cè)試

模擬真實(shí)環(huán)境，在模擬器中模擬真實(shí)用戶的隨機(jī)操作空骚，利用自動(dòng)化腳本產(chǎn)生隨機(jī)操作動(dòng)作代碼纺讲，并執(zhí)行。

定義異常囤屹，例如彈出某個(gè)彈出框熬甚，包含特定內(nèi)容時(shí)，就是異常肋坚。將這些測(cè)試結(jié)果記錄下來(lái)乡括，再聚類統(tǒng)計(jì)分析，對(duì)防御異常也很有幫助智厌。

9 部署

9.1 多客戶端

一個(gè)用戶在不同終端上登錄诲泌，或者一個(gè)用戶在登錄前和登錄后的狀態(tài)。通過(guò)特定算法生成requestID铣鹏，通過(guò)該requestId可以確定某個(gè)用戶在獨(dú)立客戶端上的一系列操作敷扫，根據(jù)日志時(shí)序，可以梳理出用戶產(chǎn)生異常的具體路徑诚卸。

9.2 集成便捷性

前端寫(xiě)成包葵第，全局引用即可完成大部分日志記錄、存儲(chǔ)和上報(bào)惨险。在特殊邏輯里面羹幸，可以調(diào)用特定方法記錄日志脊髓。

后端與應(yīng)用本身的業(yè)務(wù)代碼解耦辫愉，可以做成獨(dú)立的服務(wù)，通過(guò)接口和第三方應(yīng)用交互将硝。利用集成部署恭朗，可以將系統(tǒng)隨時(shí)進(jìn)行擴(kuò)容、移植等操作依疼。

9.3 管理系統(tǒng)的可擴(kuò)展

整套系統(tǒng)可擴(kuò)展痰腮，不僅服務(wù)單應(yīng)用，可支持多個(gè)應(yīng)用同時(shí)運(yùn)行律罢。同一個(gè)團(tuán)隊(duì)下的所有應(yīng)用都可以利用同一個(gè)平臺(tái)進(jìn)行管理膀值。

9.4 日志系統(tǒng)權(quán)限

不同的人在訪問(wèn)日志系統(tǒng)時(shí)權(quán)限不同棍丐，一個(gè)訪問(wèn)者只能查看自己相關(guān)的應(yīng)用，有些統(tǒng)計(jì)數(shù)據(jù)如果比較敏感沧踏，可以單獨(dú)設(shè)置權(quán)限歌逢，敏感數(shù)據(jù)可脫敏。

10 其他

10.1 性能監(jiān)控

異常監(jiān)控主要針對(duì)代碼級(jí)別的報(bào)錯(cuò)翘狱，但也應(yīng)該關(guān)注性能異常秘案。性能監(jiān)控主要包括：

• 運(yùn)行時(shí)性能：文件級(jí)、模塊級(jí)潦匈、函數(shù)級(jí)阱高、算法級(jí)
• 網(wǎng)絡(luò)請(qǐng)求速率
• 系統(tǒng)性能

10.2 API Monitor

后端API對(duì)前端的影響也非常大，雖然前端代碼也控制邏輯茬缩，但是后端返回的數(shù)據(jù)是基礎(chǔ)赤惊，因此對(duì)API的監(jiān)控可以分為：

• 穩(wěn)定性監(jiān)控
• 數(shù)據(jù)格式和類型
• 報(bào)錯(cuò)監(jiān)控
• 數(shù)據(jù)準(zhǔn)確性監(jiān)控

10.3 數(shù)據(jù)脫敏

敏感數(shù)據(jù)不被日志系統(tǒng)采集。由于日志系統(tǒng)的保存是比較開(kāi)放的凰锡，雖然里面的數(shù)據(jù)很重要荐捻，但是在存儲(chǔ)上大部分日志系統(tǒng)都不是保密級(jí)，因此寡夹，如果應(yīng)用涉及了敏感數(shù)據(jù)处面，最好做到：

• 獨(dú)立部署，不和其他應(yīng)用共享監(jiān)控系統(tǒng)
• 不采集具體數(shù)據(jù)菩掏，只采集用戶操作數(shù)據(jù)魂角，在重現(xiàn)時(shí)，通過(guò)日志信息可以取出數(shù)據(jù)api結(jié)果來(lái)展示
• 日志加密智绸，做到軟硬件層面的加密防護(hù)
• 必要時(shí)野揪，可采集具體數(shù)據(jù)的ID用于調(diào)試，場(chǎng)景重現(xiàn)時(shí)瞧栗，用mock數(shù)據(jù)替代斯稳，mock數(shù)據(jù)可由后端采用假的數(shù)據(jù)源生成
• 對(duì)敏感數(shù)據(jù)進(jìn)行混淆

結(jié)語(yǔ)

本文主要是對(duì)前端異常監(jiān)控的整體框架進(jìn)行了研究，沒(méi)有涉及到具體的技術(shù)實(shí)現(xiàn)迹恐，涉及前端部分和后臺(tái)部分以及與整個(gè)問(wèn)題相關(guān)的一些知識(shí)點(diǎn)挣惰，主要關(guān)注前端部分，它和后端的監(jiān)控有重疊部分也有分支部分殴边，需要在一個(gè)項(xiàng)目中不斷實(shí)踐憎茂，總結(jié)出項(xiàng)目本身的監(jiān)控需求和策略。

感謝你的閱讀锤岸，本文出自 Tencent CDC竖幔，轉(zhuǎn)載時(shí)請(qǐng)注明出處，謝謝合作是偷。
格式為：Tencent CDC（https://cdc.tencent.com/2018/09/13/frontend-exception-monitor-research/）