Operations Service提供監(jiān)控管理服務(wù)俊庇，主要包括：
- 日志等級(jí)管理（/logspec）：動(dòng)態(tài)獲取和設(shè)置peer和orderer的日志等級(jí)。
- 健康檢查（/healthz ）：檢查peer和orderer是否存活以及健康狀態(tài)授舟。
- 運(yùn)維信息監(jiān)控（/metrics ）：提供運(yùn)維指標(biāo)數(shù)據(jù)，支持Prometheus和StatsD統(tǒng)計(jì)數(shù)據(jù)。
適用場(chǎng)景
- 日志等級(jí)管理：適用于聯(lián)盟鏈管理人員或者開發(fā)人員對(duì)Fabric的日志等級(jí)進(jìn)行實(shí)時(shí)變更以定位問題蔫缸。
- 健康檢查：可以獲知節(jié)點(diǎn)的健康狀況，兼容Kubernetes的容器檢測(cè)探針liveness probe等际起。
- 運(yùn)維信息監(jiān)控：主要對(duì)外提供運(yùn)維信息數(shù)據(jù)拾碌，適用于聯(lián)盟鏈管理人員對(duì)Fabric的運(yùn)行情況進(jìn)行實(shí)時(shí)監(jiān)控；可以支持第三方運(yùn)維工具的集成街望，對(duì)Fabric運(yùn)行狀況和性能進(jìn)行分析倦沧。
技術(shù)實(shí)現(xiàn)
Operation Service在peer或orderer啟動(dòng)的過程中，創(chuàng)建了一個(gè)http服務(wù)器處理日志等級(jí)管理它匕、健康檢查和運(yùn)維信息獲取三類請(qǐng)求展融。
1）日志等級(jí)管理
日志管理主體功能模塊位于common/flogging，主要基于高性能的zap日志庫，對(duì)zapcore進(jìn)行了定制開發(fā)告希。通過重寫zapcore的Check函數(shù)（common/flogging/core.go扑浸，在Write之前調(diào)用），對(duì)將要寫入的日志進(jìn)行等級(jí)判斷燕偶，實(shí)現(xiàn)日志等級(jí)的實(shí)時(shí)變更喝噪。
2）健康檢查
健康檢查通過查詢Docker服務(wù)的狀態(tài)來確定peer和orderer是否仍處于健康狀態(tài)。只要結(jié)構(gòu)體實(shí)現(xiàn)HealthCheck(context.Context) error（位于github.com/hyperledger/fabric-lib-go/healthz/checker.go）的健康檢查接口指么，并且通過RegisterChecker函數(shù)進(jìn)行注冊(cè)酝惧，則可以實(shí)現(xiàn)對(duì)應(yīng)功能的健康檢查。官網(wǎng)上說暫時(shí)只支持對(duì)docker容器的檢查伯诬，目前本文調(diào)研時(shí)使用的版本（commitID為334a66f17e91666d583ec1e5720419de38153ebd）可以支持如下檢查：
- peer：couchdb是否可以正常連接晚唇；docker容器是否可以連接；
- orderer：是否可以向kafka發(fā)送消息盗似。
3）運(yùn)維信息監(jiān)控
運(yùn)維信息監(jiān)控包括Prometheus和StatsD兩種第三方組件的接入：
A. Prometheus
Prometheus是開源的監(jiān)控框架哩陕。Fabric支持Prometheus接入，主要使用go-kit庫和Prometheus庫赫舒。
Prometheus記載的時(shí)序數(shù)據(jù)分為四種：Counter, Gauge, Histogram, Summary悍及。Fabric僅使用了前三種，這三種類型的簡介如下：
- Counter：單調(diào)遞增的計(jì)數(shù)器接癌，常用于記錄服務(wù)請(qǐng)求總量心赶、任務(wù)完成數(shù)目、錯(cuò)誤總數(shù)等缺猛。
- Gauge：一個(gè)單獨(dú)的數(shù)值园担，可以增加或減少，常用于記錄內(nèi)存使用率枯夜、磁盤使用率弯汰、并發(fā)請(qǐng)求數(shù)等。
- Histogram：直方圖采樣數(shù)據(jù)湖雹，對(duì)一段時(shí)間范圍內(nèi)的數(shù)據(jù)進(jìn)行采樣咏闪，按照指定區(qū)間和總數(shù)進(jìn)行統(tǒng)計(jì)，會(huì)生成三個(gè)記錄數(shù)據(jù)<basename>_bucket摔吏，<basename>_count和<basename>_sum鸽嫂。其中bucket形式為<basename>_bucket{le="<upper inclusive bound>"}；count是bucket數(shù)目征讲，即<basename>_bucket{le="+Inf"}的值据某；sum是總數(shù)。
Fabric在需要記錄信息的模塊诗箍，創(chuàng)建相應(yīng)的結(jié)構(gòu)體癣籽，比如peer endorser模塊的EndorserMetrics：
var (
proposalDurationHistogramOpts = metrics.HistogramOpts{
Namespace: "endorser",
Name: "propsal_duration",
Help: "The time to complete a proposal.",
LabelNames: []string{"channel", "chaincode", "success"},
StatsdFormat: "%{#fqname}.%{channel}.%{chaincode}.%{success}",
}
receivedProposalsCounterOpts = metrics.CounterOpts{
Namespace: "endorser",
Name: "proposals_received",
Help: "The number of proposals received.",
}
successfulProposalsCounterOpts = metrics.CounterOpts{
Namespace: "endorser",
Name: "successful_proposals",
Help: "The number of successful proposals.",
}
……
)
func NewEndorserMetrics(p metrics.Provider) *EndorserMetrics {
return &EndorserMetrics{
ProposalDuration: p.NewHistogram(proposalDurationHistogramOpts),
ProposalsReceived: p.NewCounter(receivedProposalsCounterOpts),
SuccessfulProposals: p.NewCounter(successfulProposalsCounterOpts),
ProposalValidationFailed: p.NewCounter(proposalValidationFailureCounterOpts),
ProposalACLCheckFailed: p.NewCounter(proposalChannelACLFailureOpts),
InitFailed: p.NewCounter(initFailureCounterOpts),
EndorsementsFailed: p.NewCounter(endorsementFailureCounterOpts),
DuplicateTxsFailure: p.NewCounter(duplicateTxsFailureCounterOpts),
}
}
Fabric將需要記錄的信息寫入相應(yīng)的指標(biāo)記錄器中，代碼如下：
// ProcessProposal process the Proposal
func (e *Endorser) ProcessProposal(ctx context.Context, signedProp *pb.SignedProposal) (*pb.ProposalResponse, error) {
// start time for computing elapsed time metric for successfully endorsed proposals
startTime := time.Now()
// 請(qǐng)求接收數(shù)目加1
e.Metrics.ProposalsReceived.Add(1)
……
meterLabels := []string{
"channel", chainID,
"chaincode", hdrExt.ChaincodeId.Name + ":" + hdrExt.ChaincodeId.Version,
"success", strconv.FormatBool(success),
}
// 添加請(qǐng)求時(shí)長值
e.Metrics.ProposalDuration.With(meterLabels...).Observe(time.Since(startTime).Seconds())
目前Fabric統(tǒng)計(jì)的指標(biāo)具體參見：https://hyperledger-fabric.readthedocs.io/en/release-1.4/metrics_reference.html。
B. StatsD
StatsD是一個(gè)簡單的網(wǎng)絡(luò)守護(hù)進(jìn)程筷狼，基于 Node.js瓶籽，通過 UDP 或者 TCP 方式偵聽各種統(tǒng)計(jì)信息，并發(fā)送聚合信息到后端服務(wù)埂材，如 Graphite塑顺。Fabric支持StatsD接入，主要使用go-kit庫俏险，記載的時(shí)序數(shù)據(jù)也是分為Counter, Gauge, Histogram（實(shí)際上是StatsD中的Timer）三種严拒，使用邏輯和Prometheus類似揩瞪，但是讀取數(shù)據(jù)的方式上看募疮，Prometheus是從Fabric拉取數(shù)據(jù)，而StatsD是Fabric向StatsD推送數(shù)據(jù)直秆。
實(shí)際操作
Operations Service可以配置監(jiān)聽地址和TLS预鬓，配置內(nèi)容如下：
operations: # host and port for the operations server listenAddress: 127.0.0.1:9443 # TLS configuration for the operations endpoint tls: # TLS enabled enabled: false # path to PEM encoded server certificate for the operations server cert: file: # path to PEM encoded server key for the operations server key: file: # most operations service endpoints require client authentication when TLS # is enabled. clientAuthRequired requires client certificate authentication # at the TLS layer to access all resources. clientAuthRequired: false # paths to PEM encoded ca certificates to trust for client authentication clientRootCAs: files: []
1）日志等級(jí)管理
查看日志等級(jí)可以使用如下命令：
curl http://127.0.0.1:9443/logspec
其中地址和端口為peer或orderer映射出的地址和端口（默認(rèn)端口是9443）巧骚，獲得信息示例如下：
{"spec":"info"}
設(shè)置日志等級(jí)可以使用如下命令：
curl -i -X PUT -H "Content-Type: application/json" -d "{\"spec\":\"debug\"}" http://127.0.0.1:9443/logspec
設(shè)置以后可以查看log赊颠，實(shí)時(shí)生效格二。
設(shè)置日志等級(jí)時(shí)傳入?yún)?shù)的格式如下，可以支持多模塊不同日志等級(jí)竣蹦。
[<logger>[,<logger>...]=]<level>[:[<logger>[,<logger>...]=]<level>...]
目前顶猜，不同模塊設(shè)置不同日志等級(jí)的情況，只有官網(wǎng)提供的修改合約日志等級(jí)的參數(shù)痘括，如下所示：
{"spec":"chaincode=debug:info"}
2）健康檢查
查看健康情況可以使用如下命令：
curl http://127.0.0.1:9443/healthz
其中地址和端口為peer或orderer映射出的地址和端口（默認(rèn)端口是9443）长窄，正常情況下獲得信息示例如下：
{"status":"OK","time":"2019-06-04T09:31:39.2034071Z"}
目前peer可以檢查docker容器和couchdb是否可以正常連接；orderer可以檢查kafka是否可以向其發(fā)送消息纲菌。如果peer的couchdb容器宕機(jī)了挠日，獲得信息如下：
{
"status": "Service Unavailable",
"time": "2019-06-05T03:33:58.4322205Z",
"failed_checks": [
{
"component": "couchdb",
"reason": "failed to connect to couch db [Head http://couchdb0:5984: dial tcp: lookup couchdb0 on 127.0.0.11:53: no such host]"
}
]
}
3）運(yùn)維信息監(jiān)控
Prometheus
A. 安裝Prometheus
首先，從官網(wǎng)（https://prometheus.io/download/）下載Prometheus的軟件包翰舌，直接解壓到相應(yīng)目錄即可嚣潜，命令如下：
tar xvfz prometheus-*.tar.gz
cd prometheus-*
B. 修改Prometheus相關(guān)配置文件
【此處使用fabric-sample中提供的first-network示例】
修改Fabric的docker-compose.yaml文件，在peer的環(huán)境變量中添加：
- CORE_METRICS_PROVIDER=prometheus
在orderer的環(huán)境變量中添加：
- CORE_METRICS_PROVIDER=prometheus
需要修改prometheus.yml文件椅贱，添加Fabric環(huán)境中的peer和orderer參數(shù)懂算，具體參照如下內(nèi)容：
# my global config
global:
scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
# scrape_timeout is set to the global default (10s).
# Attach these labels to any time series or alerts when communicating with
# external systems (federation, remote storage, Alertmanager).
external_labels:
monitor: 'codelab-monitor'
# Alertmanager configuration
alerting:
alertmanagers:
- static_configs:
- targets:
# - alertmanager:9093
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
# - "second_rules.yml"
# A scrape configuration containing exactly one endpoint to scrape:
scrape_configs:
- job_name: 'fabric'
# Override the global default and scrape targets from this job every 5 seconds.
scrape_interval: 5s
static_configs:
- targets: ['localhost:9443']
labels:
group: 'peer0_org1'
- targets: ['localhost:10443']
labels:
group: 'peer1_org1'
- targets: ['localhost:11443']
labels:
group: 'peer0_org2'
- targets: ['localhost:12443']
labels:
group: 'peer1_org2'
- targets: ['localhost:8443']
labels:
group: 'orderer'
主要關(guān)注scrape_configs，其中添加了名字為fabric的job庇麦，其中static_configs中添加需要監(jiān)控的節(jié)點(diǎn)计技，targets中填寫operations服務(wù)的地址和監(jiān)聽端口（默認(rèn)是9443），labels.group中填寫分組的名稱山橄。以上示例把peer分成不同的組垮媒，也可以根據(jù)組織合并為一個(gè)組，如下所示：
static_configs:
- targets: ['localhost:9443', 'localhost:10443']
labels:
group: 'peers_org1'
- targets: ['localhost:11443', 'localhost:12443']
labels:
group: 'peers_org2'
C. 啟動(dòng)Prometheus
首先啟動(dòng)Fabric環(huán)境，待Fabric環(huán)境啟動(dòng)完成后涣澡，運(yùn)行如下命令啟動(dòng)Prometheus：
./prometheus --config.file=prometheus.yml
使用瀏覽器訪問http://localhost:9090即可查看Prometheus監(jiān)控面板贱呐，可以選擇指標(biāo)或者寫入查詢語句，點(diǎn)擊execute查看圖表入桂，如下圖所示：
D. 可以配置Grafana可視化工具
參照官網(wǎng)說明（https://grafana.com/grafana/download）下載Grafana軟件后奄薇，使用瀏覽器訪問http://localhost:3000（默認(rèn)用戶名admin，密碼admin）抗愁，配置數(shù)據(jù)源為Prometheus馁蒂，即可定制可視化監(jiān)控界面。具體流程可參照https://prometheus.io/docs/visualization/grafana/蜘腌。界面如下圖所示：
StatsD
A. 下載StatsD + Graphite + Grafana的docker鏡像
Graphite主要由監(jiān)聽器carbon沫屡，時(shí)序數(shù)據(jù)庫whisper和圖形展示django-webapp三個(gè)組件構(gòu)成。一般使用StatsD + Graphite + Grafana這三個(gè)框架搭建運(yùn)維可視化界面撮珠。該鏡像集成了StatsD + Graphite + Grafana 4 + Kamon（https://hub.docker.com/r/kamon/grafana_graphite）沮脖。使用如下命令拉取鏡像：
docker pull kamon/grafana_graphite
B. 啟動(dòng)docker容器
使用如下命令啟動(dòng)容器：
docker run -d\
--name graphite\
--restart=always\
-p 80:80\
-p 81:81\
-p 2003:2003\
-p 8125:8125/udp\
-p 8126:8126\
kamon/grafana_graphite
C. 修改Fabric配置文件
【此處使用fabric-sample中提供的first-network示例】
修改Fabric的docker-compose.yaml文件，在peer的環(huán)境變量中添加：
- CORE_METRICS_PROVIDER= statsd
- CORE_METRICS_STATSD_PREFIX=peer0_org1
- CORE_METRICS_STATSD_ADDRESS=192.168.101.76:8125
在orderer的環(huán)境變量中添加：
- ORDERER_METRICS_PROVIDER=statsd
- ORDERER_METRICS_STATSD_PREFIX=orderer
- ORDERER_METRICS_STATSD_ADDRESS=192.168.101.76:8125
如上所示芯急，需要配置prefix用于區(qū)分節(jié)點(diǎn)勺届，配置address是StatsD的地址和端口，即docker容器映射的地址和端口娶耍。
D. 查看界面
訪問http://localhost:81可以查看Graphite界面免姿，如下：
訪問http://localhost可以查看Grafana界面，具體配置方法見前面Prometheus的描述榕酒。界面如下：
