latency：request到response中間經歷的ms
P99-latency：樣本中延遲最大的1%的數據的平均延遲
P95-latency：過去的10秒內最慢的5%的請求平均延時.
throughput：某一時刻成功處理request的data的數量
并發(fā)：針對進程取胎，同時執(zhí)行多個進程姻灶，CPU輪轉輪流處理這些進程。
并行：針對進程捻勉，多和CPU同時對多個進程進行計算
MLOps: operation運維與machine learning之間的橋梁的開發(fā)
image.png
tail latency：常在分布式高并發(fā)中出現的詞
開發(fā)和運維高并發(fā)系統(tǒng)的工程師可能都有過類似經驗混埠，明明系統(tǒng)已經調優(yōu)完畢，該異步的異步童社，該減少互斥的地方引入無鎖盖淡，該減少IO的地方更換引擎或者硬件，該調節(jié)內核的調節(jié)相應參數狡相，然而愧膀，如果在系統(tǒng)中引入實時監(jiān)控，總會有少量響應的延遲高于均值谣光，
類似：數據集的長尾效應
訓練數據中檩淋，一小部分的類別占據了大多數的訓練樣本，而大部分的類別只有極少數的訓練樣本萄金。類別重平衡策略（如權重重賦值蟀悦，重采樣等）是為了緩解長尾效應提出的最有效最關鍵的策略。
【未完待續(xù)】
