分布式跟蹤系統(tǒng)jaeger存儲分析

一务冕、jaeger 架構(gòu)圖:

部署節(jié)點(diǎn)

agent :

程序目錄:jaeger/cmd/agent

功能:接收udp數(shù)據(jù)书释,然后通過tcp協(xié)議將數(shù)據(jù)發(fā)送給collector翘贮。

運(yùn)行命令:./agnet -collector.host-port 127.0.0.1:5044

其他配置參數(shù)可通過./agnet -h 命令查看

collecort

程序目錄:jaeger/cmd/collector

功能:接收agent通過TCP協(xié)議發(fā)送的數(shù)據(jù),然后寫入存儲爆惧,存儲類型目前支持兩種:memory和Cassandra

運(yùn)行命令:-dependency-storage.type cassandra -cassandra.keyspace jaeger_v1_test -cassandra.servers 10.103.17.184 -cassandra.port 9042 -collector.port 5044

其他配置參數(shù)可同./collector -h 命令查看

query

程序目錄:jaeger/cmd/query

功能:接收ui的請求狸页,然后查詢Cassandra或者memory存儲,然后返回給ui

運(yùn)行命令:-cassandra.servers 10.103.17.184 -cassandra.port 9042 -cassandra.keyspace jaeger_v1_test -span-storage.type cassandra -query.port 3001

其他配置參數(shù)可同./query -h 命令查看

jaeger-ui

程序目錄:jaeger/jaeger-ui

功能:ui界面扯再,接收用戶的請求芍耘,然后轉(zhuǎn)向query請求數(shù)據(jù),然后可視化的方式展示

運(yùn)行命令: npm start ?(監(jiān)聽的端口是:3000熄阻,轉(zhuǎn)向請求的query端口是3001)

二斋竞、query接口整理

獲取service

請求接口:http://localhost:3001/api/services

查詢cassandra的cql語句:SELECT service_name FROM service_names

返回的數(shù)據(jù)結(jié)構(gòu)(Limit、Offset秃殉、Errors窃页,沒用到)

type structuredResponse struct {

Data???interface{}???????`json:"data"`

Total??int???????????????`json:"total"`

Limit??int???????????????`json:"limit"`

Offset int???????????????`json:"offset"`

Errors []structuredError `json:"errors"`

}

獲取某個service 對應(yīng)的operation ?(該接口將來會移除,使用通過第3個接口獲取service對應(yīng)的operation)

請求接口地址:http://localhost:3001/api/services/frontend/operations? (注意:標(biāo)紅的是service name)

查詢的cql語句:SELECT operation_name FROM operation_names WHERE service_name = ?

返回的數(shù)據(jù)結(jié)構(gòu)與獲取service 返回的接口一樣

獲取某個service的operation

接口地址:http://localhost:3001/api/operations?service=frontend

處理流程以及返回值與接口2一樣复濒。

獲取某個service 和 operation 對應(yīng)的trace (注意:tag 和duration 不能同時作為過濾條件,tag條件多個條件之間只能為或)

請求接口地址:http://localhost:3001/api/traces?end=1495013235806000&limit=20&lookback=1h&maxDuration&minDuration&service=frontend&start=1495009635806000&tag=http.status_code%3A200

查詢的cql:

通過duration進(jìn)行過濾時的cql:SELECT trace_idFROM duration_indexWHERE bucket = ? AND service_name = ? AND operation_name = ? AND duration > ? AND duration < ?LIMIT ?

通過service和operation進(jìn)行過濾時的cql:SELECT trace_idFROM service_operation_indexWHERE service_name = ? AND operation_name = ? AND start_time > ? AND start_time < ?ORDER BY start_time DESCLIMIT ?

通過tag進(jìn)行過濾時的cql:SELECT trace_idFROM tag_indexWHERE service_name = ? AND tag_key = ? AND tag_value = ? and start_time > ? and start_time < ?ORDER BY start_time DESCLIMIT ?

通過service進(jìn)行過濾時的cql:SELECT trace_idFROM service_name_indexWHERE bucket IN `+bucketRange+` AND service_name = ? AND start_time > ? AND start_time < ?ORDER BY start_time DESCLIMIT ?

查詢邏輯如圖:

查看某一個traceId對應(yīng)的所有span

請求接口日志:http://localhost:3001/api/traces/233be37760fcb397

查詢的cql語句:SELECT trace_id, span_id, parent_id, operation_name, flags, start_time, duration, tags, logs, refs, process FROM traces WHERE trace_id = ?`

流程:traceID會從一個string類型的16進(jìn)制轉(zhuǎn)成uint64數(shù)脖卖,如果0~16是low,16~32為high

還有一個重要步驟是將:存儲的trace轉(zhuǎn)成ui的trace:dbtrace->uitrace

獲取服務(wù)之間的依賴關(guān)系:

請求接口地址:http://localhost:3001/api/dependencies?endTs=1495012727164&lookback=604800000

查詢cql:SELECT ts, dependencies FROM dependencies WHERE ts_index >= ? AND ts_index < ?

有個post的不知道干什么的接口(目前代碼中沒使用):

接口日志(post方式):http://localhost:3001/api/archive/233be37760fcb397

三、jaeger Cassandra 存儲結(jié)構(gòu)

service_names

operation_names

service_name_index

bucket 的計(jì)算代碼:bucketNo := atomic.AddUint32(&s.bucketCounter, 1) % defaultNumBuckets

service_operation_index

duration_index

通一個記錄在這個表中存在兩份巧颈,唯一的區(qū)別是一個有operation_name ,另外一個記錄沒有operation_name,記錄如下:

tag_index

traces

注意:存在spanID相同的情況(不確定是某些情況下是需要產(chǎn)生相同的spanID畦木,跟RPC相關(guān),tag中含有:span.kind=server)

dependencies

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市砸泛,隨后出現(xiàn)的幾起案子十籍,更是在濱河造成了極大的恐慌,老刑警劉巖唇礁,帶你破解...
    沈念sama閱讀 217,509評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件勾栗,死亡現(xiàn)場離奇詭異,居然都是意外死亡盏筐,警方通過查閱死者的電腦和手機(jī)围俘,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,806評論 3 394
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來琢融,“玉大人界牡,你說我怎么就攤上這事⊙В” “怎么了宿亡?”我有些...
    開封第一講書人閱讀 163,875評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長纳令。 經(jīng)常有香客問我挽荠,道長克胳,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,441評論 1 293
  • 正文 為了忘掉前任圈匆,我火速辦了婚禮漠另,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘臭脓。我一直安慰自己酗钞,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,488評論 6 392
  • 文/花漫 我一把揭開白布来累。 她就那樣靜靜地躺著砚作,像睡著了一般。 火紅的嫁衣襯著肌膚如雪嘹锁。 梳的紋絲不亂的頭發(fā)上葫录,一...
    開封第一講書人閱讀 51,365評論 1 302
  • 那天,我揣著相機(jī)與錄音领猾,去河邊找鬼米同。 笑死,一個胖子當(dāng)著我的面吹牛摔竿,可吹牛的內(nèi)容都是我干的面粮。 我是一名探鬼主播,決...
    沈念sama閱讀 40,190評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼继低,長吁一口氣:“原來是場噩夢啊……” “哼熬苍!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起袁翁,我...
    開封第一講書人閱讀 39,062評論 0 276
  • 序言:老撾萬榮一對情侶失蹤柴底,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后粱胜,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體柄驻,經(jīng)...
    沈念sama閱讀 45,500評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,706評論 3 335
  • 正文 我和宋清朗相戀三年焙压,在試婚紗的時候發(fā)現(xiàn)自己被綠了鸿脓。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,834評論 1 347
  • 序言:一個原本活蹦亂跳的男人離奇死亡冗恨,死狀恐怖答憔,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情掀抹,我是刑警寧澤,帶...
    沈念sama閱讀 35,559評論 5 345
  • 正文 年R本政府宣布心俗,位于F島的核電站傲武,受9級特大地震影響蓉驹,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜揪利,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,167評論 3 328
  • 文/蒙蒙 一态兴、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧疟位,春花似錦瞻润、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,779評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至得院,卻和暖如春傻铣,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背祥绞。 一陣腳步聲響...
    開封第一講書人閱讀 32,912評論 1 269
  • 我被黑心中介騙來泰國打工非洲, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人蜕径。 一個月前我還...
    沈念sama閱讀 47,958評論 2 370
  • 正文 我出身青樓两踏,卻偏偏與公主長得像,于是被迫代替她去往敵國和親兜喻。 傳聞我的和親對象是個殘疾皇子梦染,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,779評論 2 354

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn)虹统,斷路器弓坞,智...
    卡卡羅2017閱讀 134,654評論 18 139
  • Android學(xué)習(xí)整理 - 系列 目錄: 一 RecyclerView簡介 二 RecyclerView為什么會出...
    minminaya閱讀 7,773評論 20 89
  • 元夜一皎輪,舉杯邀月车荔,對影輕吟渡冻。疏狂圖醉偶成句,神娥助我百字文忧便。頂針嵌腰七言曲族吻,歌與天上月,寄愿詩中人珠增。且借清風(fēng)明...
    野曠天心閱讀 661評論 0 1
  • 清晨舒爽天空藍(lán) 路人有禮露笑顏 窗外美景看不夠 眨眼終點(diǎn)在眼前 avilable有效 boost促進(jìn) conduc...
    丹東1組閱讀 455評論 0 0