容器監(jiān)控實踐—Heapster

概述

該項目將被廢棄(RETIRED)

Heapster是Kubernetes旗下的一個項目驶乾,Heapster是一個收集者无埃,并不是采集

  • 1.Heapster可以收集Node節(jié)點上的cAdvisor數(shù)據:CPU颈将、內存麻诀、網絡和磁盤
  • 2.將每個Node上的cAdvisor的數(shù)據進行匯總
  • 3.按照kubernetes的資源類型來集合資源鳖轰,比如Pod话速、Namespace
  • 4.默認的metric數(shù)據聚合時間間隔是1分鐘洒宝。還可以把數(shù)據導入到第三方工具ElasticSearch购公、InfluxDB、Kafka雁歌、Graphite
  • 5.展示:Grafana或Google Cloud Monitoring

使用場景

  • Heapster+InfluxDB+Grafana共同組成了一個流行的監(jiān)控解決方案

  • Kubernetes原生dashboard的監(jiān)控圖表信息來自heapster

  • 在HPA(Horizontal Pod Autoscaling)中也用到了Heapster宏浩,HPA將Heapster作為Resource Metrics API,向其獲取metric靠瞎,作為水平擴縮容的監(jiān)控依據

監(jiān)控指標

流程:

1.Heapster首先從apiserver獲取集群中所有Node的信息比庄。
2.通過這些Node上的kubelet獲取有用數(shù)據,而kubelet本身的數(shù)據則是從cAdvisor得到乏盐。
3.所有獲取到的數(shù)據都被推到Heapster配置的后端存儲中佳窑,并還支持數(shù)據的可視化。

部署

docker部署:


image

k8s中部署:
heapster.yml


image.png

influxdb.yml


image.png

注意修改鏡像地址父能,k8s.gcr.io無法訪問的話神凑,修改為內網鏡像地址,如替換為registry.cn-hangzhou.aliyuncs.com/google_containers
Heapster的參數(shù)
  • source: 指定數(shù)據獲取源何吝,如kube-apiserver

inClusterConfig:

  • kubeletPort: 指定kubelet的使用端口溉委,默認10255
  • kubeletHttps: 是否使用https去連接kubelets(默認:false)
  • apiVersion: 指定K8S的apiversion
  • insecure: 是否使用安全證書(默認:false)
  • auth: 安全認證
  • useServiceAccount: 是否使用K8S的安全令牌
  • sink: 指定后端數(shù)據存儲,這里指定influxdb數(shù)據庫
Metrics列表

[圖片上傳失敗...(image-9d5648-1546876216683)]

深入解析

架構圖:


image

代碼結構(https://github.com/kubernetes-retired/heapster

image

heapster主函數(shù)(heapster/metrics/heapster.go)


image.png

主要流程:

  • 創(chuàng)建數(shù)據源對象

  • 創(chuàng)建后端存儲對象list

  • 創(chuàng)建處理metrics數(shù)據的processors

  • 創(chuàng)建manager爱榕,并開啟數(shù)據的獲取及export的協(xié)程

  • 開啟Heapster server瓣喊,并支持各類API

cAdvisor返回的原始數(shù)據包含了nodes和containers的相關數(shù)據,heapster需要創(chuàng)建各種processor黔酥,用于處理成不同類型的數(shù)據藻三,比如pod, namespace, cluster八匠,node的聚合,求和平均之類趴酣,processor有如下幾種:

image

例如Pod的處理如下:


image.png

詳細解析參考: https://segmentfault.com/a/1190000008863353

現(xiàn)狀

heapster已經被官方廢棄(k8s 1.11版本中梨树,HPA已經不再從hepaster獲取數(shù)據)

基于Heapster的HPA

參考:基于Heapster的HPA

本文為容器監(jiān)控實踐系列文章,完整內容見:container-monitor-book

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末仗谆,一起剝皮案震驚了整個濱河市指巡,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌隶垮,老刑警劉巖藻雪,帶你破解...
    沈念sama閱讀 221,406評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異狸吞,居然都是意外死亡勉耀,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,395評論 3 398
  • 文/潘曉璐 我一進店門蹋偏,熙熙樓的掌柜王于貴愁眉苦臉地迎上來便斥,“玉大人,你說我怎么就攤上這事威始∈嗑溃” “怎么了?”我有些...
    開封第一講書人閱讀 167,815評論 0 360
  • 文/不壞的土叔 我叫張陵黎棠,是天一觀的道長晋渺。 經常有香客問我,道長脓斩,這世上最難降的妖魔是什么木西? 我笑而不...
    開封第一講書人閱讀 59,537評論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮俭厚,結果婚禮上户魏,老公的妹妹穿的比我還像新娘。我一直安慰自己挪挤,他們只是感情好叼丑,可當我...
    茶點故事閱讀 68,536評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著扛门,像睡著了一般鸠信。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上论寨,一...
    開封第一講書人閱讀 52,184評論 1 308
  • 那天星立,我揣著相機與錄音爽茴,去河邊找鬼。 笑死绰垂,一個胖子當著我的面吹牛室奏,可吹牛的內容都是我干的。 我是一名探鬼主播劲装,決...
    沈念sama閱讀 40,776評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼胧沫,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了占业?” 一聲冷哼從身側響起绒怨,我...
    開封第一講書人閱讀 39,668評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎谦疾,沒想到半個月后南蹂,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 46,212評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡念恍,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,299評論 3 340
  • 正文 我和宋清朗相戀三年六剥,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片樊诺。...
    茶點故事閱讀 40,438評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡仗考,死狀恐怖,靈堂內的尸體忽然破棺而出词爬,到底是詐尸還是另有隱情,我是刑警寧澤权均,帶...
    沈念sama閱讀 36,128評論 5 349
  • 正文 年R本政府宣布顿膨,位于F島的核電站,受9級特大地震影響叽赊,放射性物質發(fā)生泄漏恋沃。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,807評論 3 333
  • 文/蒙蒙 一必指、第九天 我趴在偏房一處隱蔽的房頂上張望囊咏。 院中可真熱鬧,春花似錦塔橡、人聲如沸梅割。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,279評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽户辞。三九已至,卻和暖如春癞谒,著一層夾襖步出監(jiān)牢的瞬間底燎,已是汗流浹背刃榨。 一陣腳步聲響...
    開封第一講書人閱讀 33,395評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留双仍,地道東北人枢希。 一個月前我還...
    沈念sama閱讀 48,827評論 3 376
  • 正文 我出身青樓,卻偏偏與公主長得像朱沃,于是被迫代替她去往敵國和親苞轿。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,446評論 2 359

推薦閱讀更多精彩內容