流量回放是通過日志采集再處理來獲取所需要的數(shù)據(jù)
日志采集
通過logstash工具從應用容器拉取日志信息,可以根據(jù)filter集惋、tags來篩選
數(shù)據(jù)傳輸
通過kafka等消息隊列將獲取的日志數(shù)據(jù)傳輸進行下一步處理
數(shù)據(jù)處理
從消息隊列中消費日志數(shù)據(jù)沽讹,通過storm數(shù)據(jù)處理系統(tǒng)從日志信息中獲取到想要的數(shù)據(jù),比如從日志中獲取接口的req
數(shù)據(jù)轉存
通過hadoop\mysql\hive對處理的數(shù)據(jù)進行存儲,第一輪一般是原始數(shù)據(jù)晃酒,后面可以用mapreduce再次處理,知道得到想要的數(shù)據(jù)再存儲到具體的磁盤中
ELK
elasticsearch+logstash+kibana(前端開源框架)
壓測
針對錄制的流量進行處理窄绒,除敏贝次、渲染、隔離彰导、熔斷蛔翅,得到符合指標的流量,利用這些流量針對接口服務做壓測服務位谋,模擬線上請求
全鏈路壓測核心點
1山析、流量渲染,打上特有的tag
2掏父、日志隔離笋轨,壓測的日志和生產的日志隔離
3、風險開關赊淑,流量瓶頸時設置黑白名單控制流量
4爵政、數(shù)據(jù)隔離,影子庫
全鏈路壓測關注指標
1陶缺、用戶
2钾挟、應用監(jiān)控,保留現(xiàn)場數(shù)據(jù)
3饱岸、代碼層面分析
作者:liyaoyao6342
鏈接:http://www.reibang.com/p/e0a9b76c4f95
來源:簡書
著作權歸作者所有掺出。商業(yè)轉載請聯(lián)系作者獲得授權,非商業(yè)轉載請注明出處苫费。