在需要私有化部署的系統(tǒng)中，大部分系統(tǒng)僅提供系統(tǒng)本身的業(yè)務(wù)功能艘蹋，例如用戶管理锄贼、財(cái)務(wù)管理、客戶管理等女阀。但是系統(tǒng)本身仍然需要進(jìn)行日志的采集宅荤、應(yīng)用指標(biāo)例如請(qǐng)求速率的收集、主機(jī)磁盤(pán)浸策、內(nèi)存使用量的收集等冯键。同時(shí)方便的分布式系統(tǒng)日志的查看、指標(biāo)的監(jiān)控和告警也是系統(tǒng)穩(wěn)定運(yùn)行的一個(gè)重要保證庸汗。為了使得私有化部署的系統(tǒng)能更健壯惫确，同時(shí)不增加額外的部署運(yùn)維工作量，本文提出了一種基于ELK的開(kāi)箱即用的日志和指標(biāo)收集方案夫晌。

作者 | 熵簡(jiǎn)科技后臺(tái)團(tuán)隊(duì)

背景

在當(dāng)前的項(xiàng)目中雕薪，我們已經(jīng)使用了 Elasticsearch 作為業(yè)務(wù)的數(shù)據(jù)儲(chǔ)存，同時(shí)利用 ansible晓淀、docker、jenkins 組合了一套快速部署的工具盏档。在配置好需要部署主機(jī)的 ssh 連接信息后凶掰，我們可以通過(guò) jenkins 一鍵部署一個(gè) Elasticsearch 和 Kibana。

這套系統(tǒng)遵循以下的設(shè)計(jì)原則：

1. Self-Contained Deployment：我們把所有的部署腳本、配置文件懦窘、Jenkins 任務(wù)都打包到一個(gè)標(biāo)準(zhǔn)化的 Jenkins docker 包中前翎，只要安裝到目標(biāo)的環(huán)境上，即可把所有部署所需的工具都一次性帶入畅涂。

2. Single Source of Truth：在 Jenkins 中內(nèi)嵌一個(gè) yaml 格式的配置文件管理器港华，對(duì)于所有部署需要依賴的變量進(jìn)行統(tǒng)一管理，例如xx系統(tǒng)后端對(duì)外暴露的端口號(hào)午衰，只在 Jenkins 中配置一次立宜，所有的腳本都會(huì)自動(dòng)讀取該變量。

3. Configuration as Code, Infrastructure as Code：當(dāng)所有的配置確定下來(lái)后臊岸，后續(xù)的流程理論上是可以做到全自動(dòng)化的橙数，所以所有的安裝都通過(guò)腳本來(lái)完成。

需求分析

在私有化部署的環(huán)境中帅戒，日志的收集使用有幾個(gè)特點(diǎn)：

1. 需要能快速部署灯帮。由于客戶的數(shù)量較多，我們需要能快速地部署監(jiān)控系統(tǒng)逻住，監(jiān)控系統(tǒng)本身的運(yùn)維壓力需要較小钟哥。

2. 部署組件要簡(jiǎn)單，且健壯性強(qiáng)瞎访。由于部署環(huán)境較為復(fù)雜瞪醋，希望每個(gè)組件自身是健壯的，同時(shí)組件之間的交互盡量簡(jiǎn)單装诡，避免復(fù)雜的網(wǎng)絡(luò)拓?fù)洹?/p>

3. 功能性優(yōu)于穩(wěn)定性银受。由于日志和指標(biāo)信息本身在宿主主機(jī)和應(yīng)用上是有副本的，所以即時(shí)監(jiān)控系統(tǒng)的數(shù)據(jù)丟失了鸦采，影響也不大宾巍。但是如果系統(tǒng)能提供更多強(qiáng)大的功能，對(duì)于分析是很有幫助的渔伯。

4. 性能要求不高顶霞。由于私有化環(huán)境對(duì)接系統(tǒng)的容量和復(fù)雜度可控，可以使用單機(jī)部署锣吼，同時(shí)查詢慢一些也沒(méi)關(guān)系选浑。

同時(shí)需要滿足幾個(gè)需求：

1. 需要能采集分布式的日志，并且集中式地查看玄叠。

2. 需要能采集機(jī)器的基本信息古徒，例如 CPU、磁盤(pán)读恃，并進(jìn)行監(jiān)控隧膘。

3. 最好能采集應(yīng)用的數(shù)據(jù)代态，例如導(dǎo)入數(shù)據(jù)的條目數(shù)，并進(jìn)行監(jiān)控疹吃。

4. 最好能實(shí)現(xiàn)異常指標(biāo)的告警功能蹦疑。

方案分析

方案上有3個(gè)備選方案：

1. 利用 ELK （Elasticsearch、Logstash萨驶、Kibana） 做整體的監(jiān)控基礎(chǔ)組件歉摧，同時(shí)使用 Elastic 新推出的 beat 系列作為采集工具。

2. 利用 Zabbix腔呜、Open-Falcon 等運(yùn)維監(jiān)控工具進(jìn)行系統(tǒng)基礎(chǔ)組件的監(jiān)控叁温。同時(shí)利用自定義指標(biāo)，進(jìn)行數(shù)據(jù)的監(jiān)控和告警育谬。

3. 利用 TICK (Telegraph券盅、InfluxDB、Chronograf膛檀、Kapacitor) 做整體的監(jiān)控基礎(chǔ)組件锰镀。

目前日志方面能比較好滿足需求的只有開(kāi)源的 ELK 和商業(yè)化的 Splunk，如果Splunk 的授權(quán)費(fèi)是預(yù)算可接受的咖刃，也可以使用方案2泳炉、3結(jié)合 Splunk 的方式來(lái)實(shí)現(xiàn)。但是目前來(lái)看 Splunk 高昂的授權(quán)費(fèi)并不是大部分公司可以接受的嚎杨。方案2和3在需求上不能很好滿足日志的收集和查看功能花鹅，所以排除掉了。

方案1(ELK)根據(jù)我們的需求進(jìn)一步細(xì)化：

1. 需要能快速部署：通過(guò)我們的 Jenkins 可以實(shí)現(xiàn)一鍵部署的功能枫浙。

2. 部署組件簡(jiǎn)單：我們只部署 Elasticsearch 和 Kibana 組件刨肃，同時(shí) Elasticsearch 本身作為最基礎(chǔ)的組件是自包含的，不依賴任何外部組件箩帚。而我們也不使用集群真友，只用單機(jī)部署，保證 Elasticsearch 部署的簡(jiǎn)單和穩(wěn)定紧帕。

3. 功能性優(yōu)于穩(wěn)定性：雖然業(yè)務(wù)使用的 Elasticsearch 停留在 5.5.3 版本盔然，我們?nèi)罩静杉头治鍪褂玫?Elasticsearch 直接升級(jí)到 7.6.0 版本，同時(shí)后續(xù)的版本升級(jí)也可以較為激進(jìn)是嗜，如果遇到不兼容的情況愈案，也不需要保留已有數(shù)據(jù)，刪除數(shù)據(jù)重新部署即可鹅搪。

4. 性能要求不高：使用單機(jī)部署站绪，Elasticsearch 和 Kibana 部署在同一臺(tái)機(jī)器上。

日志專用的Elasticsearch涩嚣、Kibana崇众、Beat

為了避免日志使用的 ES 和業(yè)務(wù)使用的 ES 在資源或者配置上發(fā)生沖突掂僵，日志專用的 ES 單獨(dú)做了一個(gè)部署航厚，使用約 3G 內(nèi)存顷歌。

日志采集：

我們?cè)谒邢嚓P(guān)主機(jī)上使用 ansible 部署filebeat?進(jìn)行日志的采集，為了簡(jiǎn)化系統(tǒng)幔睬，我們也沒(méi)有使用 logstash 做日志的預(yù)處理眯漩，只是簡(jiǎn)單地配置了 filebeat 的配置文件，并加入了我們的 jenkins 一鍵部署套件中麻顶。

日志的查看：

由于日志直接通過(guò) filebeat 收集到了 es 中赦抖，我們使用 Kibana 就能直接進(jìn)行查看了。

系統(tǒng)指標(biāo)收集：

我們?cè)谒邢嚓P(guān)主機(jī)上使用 ansible 部署?metricbeat?進(jìn)行指標(biāo)的收集辅肾，通過(guò)配置文件的配置队萤，可以采集到 docker 的資源使用、系統(tǒng)CPU矫钓、內(nèi)存要尔、磁盤(pán)、網(wǎng)絡(luò)的使用狀態(tài)新娜，同時(shí)也開(kāi)放了 statsd 格式的指標(biāo)收集端口赵辕。

在現(xiàn)場(chǎng)狀態(tài)檢測(cè)：

我們?cè)诰W(wǎng)關(guān)機(jī)器上使用 ansible 部署?heartbeat?進(jìn)行主動(dòng)的資源可用性探測(cè)，對(duì)系統(tǒng)相關(guān)的數(shù)據(jù)庫(kù)概龄、http服務(wù)等監(jiān)控其相應(yīng)狀態(tài)还惠，并將其發(fā)送至默認(rèn)的 ES 儲(chǔ)存索引中。

基于ES的告警

Elasticsearch 的原生告警是付費(fèi)功能私杜，為了搭建一個(gè)更通用的告警系統(tǒng)蚕键，這里用了一個(gè)開(kāi)源的項(xiàng)目?elastalert?實(shí)現(xiàn)告警。Elastalert 是 Yelp 公司（美國(guó)的大眾點(diǎn)評(píng)）開(kāi)發(fā)的基于 python 和 Elasticsearch 的告警系統(tǒng)衰粹，可以對(duì)接的告警途徑很多锣光，但是大部分都是國(guó)外的工具例如Slack、HipChat寄猩、PagerDuty嫉晶，所以我們目前只使用了最基礎(chǔ)的郵件告警功能。

Elastalert 可以配置多種告警類型田篇，例如：

某條件連續(xù)觸發(fā) N 次（frequency類型）替废。

某指標(biāo)出現(xiàn)的頻率增加或者減少（spike 類型）。

N 分鐘未檢測(cè)到某指標(biāo)（flatline類型）等泊柬。

每個(gè)告警的配置核心其實(shí)是一個(gè) elasticsearch 的查詢語(yǔ)句椎镣，通過(guò)查詢語(yǔ)句返回的條目數(shù)來(lái)進(jìn)行判斷。

目前我們也只使用了最基礎(chǔ)的 frequency 類型告警兽赁。由于這個(gè)告警是針對(duì)特定幾個(gè)私有化部署的系統(tǒng)状答，所以我們提前配置好了若干個(gè)告警的配置文件冷守，在部署腳本中，如果沒(méi)有特別需求惊科，就全部復(fù)制到 elastalert 的系統(tǒng)中拍摇，不需要任何手工配置。

監(jiān)控大盤(pán)

利用 Kibana 的可視化功能馆截，我們可以針對(duì)每個(gè)業(yè)務(wù)系統(tǒng)創(chuàng)建一個(gè)監(jiān)控大盤(pán)充活，直觀地看到所有系統(tǒng)組件的情況，以及宿主主機(jī)的健康情況：

Kibana配置自動(dòng)化

Kibana 當(dāng)中所有持久化了的配置都是一個(gè)?Saved Object蜡娶，包括：快捷搜索混卵、監(jiān)控大盤(pán)、可視化面板窖张、索引配置幕随。

我們?cè)趦?nèi)部的測(cè)試環(huán)境中配置好了一個(gè)監(jiān)控用的 Kibana 后，將配置文件通過(guò) CI 系統(tǒng)定期導(dǎo)出儲(chǔ)存于 git 倉(cāng)庫(kù)中宿接，下一次更新基礎(chǔ)組件時(shí)赘淮，更新腳本就會(huì)自動(dòng)將對(duì)應(yīng)的 kibana 配置導(dǎo)入到私有化部署的環(huán)境中，在部署時(shí)不需要任何手工配置澄阳，實(shí)現(xiàn) Infrastructure as Code拥知。

擴(kuò)展監(jiān)控范圍

這套部署組件在擴(kuò)展上也是有一個(gè)標(biāo)準(zhǔn)流程的。

監(jiān)控更多的應(yīng)用組件

當(dāng)我們需要監(jiān)控新增的應(yīng)用組件時(shí)碎赢。

對(duì)于服務(wù)狀態(tài)低剔，我們可以簡(jiǎn)單地將應(yīng)用組件的訪問(wèn)地址加入 hearbeat 的配置中，就可以在監(jiān)控面板看到對(duì)應(yīng)組件的狀態(tài)了肮塞。

對(duì)于應(yīng)用日志襟齿，我們可以將日志的文件路徑加入 filebeat 的配置中，就可以在 Kibana 中搜索到了枕赵。

監(jiān)控應(yīng)用相關(guān)的指標(biāo)

當(dāng)我們需要監(jiān)控應(yīng)用相關(guān)的指標(biāo)時(shí)猜欺，我們可以通過(guò) statsd 的接口，將指標(biāo)發(fā)布metricbeat拷窜，統(tǒng)一收集至 Elasticsearch 當(dāng)中开皿。 statsd 底層規(guī)則相對(duì)簡(jiǎn)單，所以在每個(gè)編程語(yǔ)言中都有相應(yīng)的 SDK 可以直接使用篮昧，并沒(méi)有復(fù)雜的依賴赋荆。

https://github.com/statsd/statsd/wiki。

但是目前 metricbeat 收集來(lái)的 statsd 信息是不支持 tag 的懊昨，所以還只能做一些簡(jiǎn)單的指標(biāo)收集窄潭，并不能對(duì)同一指標(biāo)的不同維度做聚合分析。

增加服務(wù) tracing

Elasticsearch 當(dāng)中也帶了 APM 服務(wù)這個(gè)暫時(shí)還沒(méi)有嘗試接入酵颁，如果可以使用的話嫉你，是一個(gè)性能監(jiān)控和分析的利器月帝。

總結(jié)

私有化部署的環(huán)境中，日志的收集和監(jiān)控不像互聯(lián)網(wǎng)產(chǎn)品一樣需要較強(qiáng)的性能和可擴(kuò)容性幽污，開(kāi)箱即用和功能的強(qiáng)大就較為重要嚷辅。7.6.0 版本的 Elasticsearch 和 Kibana 在這方面能很好地滿足需求，只需要對(duì)部署流程進(jìn)行標(biāo)準(zhǔn)化油挥，并提前準(zhǔn)備好配置文件潦蝇，就可以在半小時(shí)內(nèi)搭建好一整套監(jiān)控體系款熬。

關(guān)于熵簡(jiǎn)科技

熵簡(jiǎn)科技是一家數(shù)據(jù)智能公司深寥，熵簡(jiǎn)科技圍繞“數(shù)據(jù)采集-數(shù)據(jù)融合-數(shù)據(jù)計(jì)算-業(yè)務(wù)決策”的各個(gè)場(chǎng)景，運(yùn)用自主研發(fā)的數(shù)據(jù)中臺(tái)引擎贤牛，通過(guò)端到端的數(shù)據(jù)中臺(tái)體系切實(shí)解決企業(yè)需求痛點(diǎn)惋鹅。

更多技術(shù)干貨文章，請(qǐng)關(guān)注熵簡(jiǎn)科技的公眾號(hào)「熵簡(jiǎn)學(xué)院」