流量回放原理

流量回放是通過日志采集再處理來獲取所需要的數(shù)據(jù)

日志采集

通過logstash工具從應用容器拉取日志信息,可以根據(jù)filter集惋、tags來篩選

數(shù)據(jù)傳輸

通過kafka等消息隊列將獲取的日志數(shù)據(jù)傳輸進行下一步處理

數(shù)據(jù)處理

從消息隊列中消費日志數(shù)據(jù)沽讹,通過storm數(shù)據(jù)處理系統(tǒng)從日志信息中獲取到想要的數(shù)據(jù),比如從日志中獲取接口的req

數(shù)據(jù)轉存

通過hadoop\mysql\hive對處理的數(shù)據(jù)進行存儲,第一輪一般是原始數(shù)據(jù)晃酒,后面可以用mapreduce再次處理,知道得到想要的數(shù)據(jù)再存儲到具體的磁盤中

ELK

elasticsearch+logstash+kibana(前端開源框架)

壓測

針對錄制的流量進行處理窄绒,除敏贝次、渲染、隔離彰导、熔斷蛔翅,得到符合指標的流量,利用這些流量針對接口服務做壓測服務位谋,模擬線上請求

全鏈路壓測核心點

1山析、流量渲染,打上特有的tag

2掏父、日志隔離笋轨,壓測的日志和生產的日志隔離

3、風險開關赊淑,流量瓶頸時設置黑白名單控制流量

4爵政、數(shù)據(jù)隔離,影子庫

全鏈路壓測關注指標

1陶缺、用戶

2钾挟、應用監(jiān)控,保留現(xiàn)場數(shù)據(jù)

3饱岸、代碼層面分析

作者:liyaoyao6342

鏈接:http://www.reibang.com/p/e0a9b76c4f95

來源:簡書

著作權歸作者所有掺出。商業(yè)轉載請聯(lián)系作者獲得授權,非商業(yè)轉載請注明出處苫费。

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末汤锨,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子黍衙,更是在濱河造成了極大的恐慌泥畅,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,941評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件琅翻,死亡現(xiàn)場離奇詭異位仁,居然都是意外死亡,警方通過查閱死者的電腦和手機方椎,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,397評論 3 395
  • 文/潘曉璐 我一進店門聂抢,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人棠众,你說我怎么就攤上這事琳疏∮芯觯” “怎么了?”我有些...
    開封第一講書人閱讀 165,345評論 0 356
  • 文/不壞的土叔 我叫張陵空盼,是天一觀的道長书幕。 經常有香客問我,道長揽趾,這世上最難降的妖魔是什么台汇? 我笑而不...
    開封第一講書人閱讀 58,851評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮篱瞎,結果婚禮上苟呐,老公的妹妹穿的比我還像新娘。我一直安慰自己俐筋,他們只是感情好牵素,可當我...
    茶點故事閱讀 67,868評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著澄者,像睡著了一般笆呆。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上粱挡,一...
    開封第一講書人閱讀 51,688評論 1 305
  • 那天腰奋,我揣著相機與錄音,去河邊找鬼抱怔。 笑死,一個胖子當著我的面吹牛嘀倒,可吹牛的內容都是我干的屈留。 我是一名探鬼主播,決...
    沈念sama閱讀 40,414評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼测蘑,長吁一口氣:“原來是場噩夢啊……” “哼灌危!你這毒婦竟也來了?” 一聲冷哼從身側響起碳胳,我...
    開封第一講書人閱讀 39,319評論 0 276
  • 序言:老撾萬榮一對情侶失蹤勇蝙,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后挨约,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體味混,經...
    沈念sama閱讀 45,775評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,945評論 3 336
  • 正文 我和宋清朗相戀三年诫惭,在試婚紗的時候發(fā)現(xiàn)自己被綠了翁锡。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,096評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡夕土,死狀恐怖馆衔,靈堂內的尸體忽然破棺而出瘟判,到底是詐尸還是另有隱情,我是刑警寧澤角溃,帶...
    沈念sama閱讀 35,789評論 5 346
  • 正文 年R本政府宣布拷获,位于F島的核電站,受9級特大地震影響减细,放射性物質發(fā)生泄漏匆瓜。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,437評論 3 331
  • 文/蒙蒙 一邪财、第九天 我趴在偏房一處隱蔽的房頂上張望陕壹。 院中可真熱鬧,春花似錦树埠、人聲如沸糠馆。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,993評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽又碌。三九已至,卻和暖如春绊袋,著一層夾襖步出監(jiān)牢的瞬間毕匀,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,107評論 1 271
  • 我被黑心中介騙來泰國打工癌别, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留皂岔,地道東北人。 一個月前我還...
    沈念sama閱讀 48,308評論 3 372
  • 正文 我出身青樓展姐,卻偏偏與公主長得像躁垛,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子圾笨,可洞房花燭夜當晚...
    茶點故事閱讀 45,037評論 2 355

推薦閱讀更多精彩內容

  • 流量回放是通過日志采集再處理來獲取所需要的數(shù)據(jù) 日志采集 通過logstash工具從應用容器拉取日志信息教馆,可以根據(jù)...
    DuffyMagic閱讀 6,623評論 0 0
  • TCPCopy使用簡介 一、 TCPCopy使用簡介 1 概述 tcpcopy是一種請求復制(所有基于tcp的pa...
    Alex筆記閱讀 3,841評論 0 1
  • 背景 互聯(lián)網應用提供服務擂达,與用戶的操作產生交互土铺,其行為產生的流量蘊含著許多可挖掘的價值,如性能分析板鬓、數(shù)據(jù)對比悲敷、行為...
    orionc閱讀 2,276評論 0 1
  • 使用流量回放的背景: 而隨著業(yè)務增長,每次發(fā)布需要覆蓋的Case越來越多俭令,這時對所有Case都進行回歸顯然不太現(xiàn)實...
    李騰momoko閱讀 7,979評論 0 3
  • 我是黑夜里大雨紛飛的人啊 1 “又到一年六月镀迂,有人笑有人哭,有人歡樂有人憂愁唤蔗,有人驚喜有人失落探遵,有的覺得收獲滿滿有...
    陌忘宇閱讀 8,536評論 28 53