一儿咱、簡 介
Loki是受Prometheus啟發(fā)由Grafana Labs團隊開源的水平可擴展褪贵，高度可用的多租戶日志聚合系統(tǒng)哼蛆。 開發(fā)語言: Google Go掠哥。它的設(shè)計具有很高的成本效益，并且易于操作球拦。使用標(biāo)簽來作為索引靠闭，而不是對全文進行檢索，也就是說坎炼，你通過這些標(biāo)簽既可以查詢?nèi)罩镜膬?nèi)容也可以查詢到監(jiān)控的數(shù)據(jù)簽愧膀，極大地降低了日志索引的存儲。系統(tǒng)架構(gòu)十分簡單谣光，由以下3個部分組成 ：
Loki 是主服務(wù)器檩淋，負(fù)責(zé)存儲日志和處理查詢 。
promtail 是代理萄金，負(fù)責(zé)收集日志并將其發(fā)送給 loki 蟀悦。
Grafana 用于 UI 展示。
只要在應(yīng)用程序服務(wù)器上安裝promtail來收集日志然后發(fā)送給Loki存儲氧敢，就可以在Grafana UI界面通過添加Loki為數(shù)據(jù)源進行日志查詢（如果Loki服務(wù)器性能不夠日戈，可以部署多個Loki進行存儲及查詢）。作為一個日志系統(tǒng)不光只有查詢分析日志的能力孙乖，還能對日志進行監(jiān)控和報警浙炼。
Loki文檔網(wǎng)址：https://grafana.com/docs/loki/latest/
下載網(wǎng)址：https://github.com/grafana/loki/releases
二份氧、原理分析
promtail收集并將日志發(fā)送給loki的 Distributor 組件
Distributor會對接收到的日志流進行正確性校驗，并將驗證后的日志分批并行發(fā)送到Ingester
Ingester 接受日志流并構(gòu)建數(shù)據(jù)塊弯屈，壓縮后存放到所連接的存儲后端
Querier 收到HTTP查詢請求蜗帜，并將請求發(fā)送至Ingester 用以獲取內(nèi)存數(shù)據(jù) ，Ingester 收到請求后返回符合條件的數(shù)據(jù) 资厉；
如果 Ingester 沒有返回數(shù)據(jù)前计，Querier 會從后端存儲加載數(shù)據(jù)并遍歷去重執(zhí)行查詢 障斋，通過HTTP返回查詢結(jié)果
三抵乓、與 ELK 比 較優(yōu)勢
ELK雖然功能豐富刃麸，但規(guī)模復(fù)雜，資源占用高酪我，操作苦難消痛，很多功能往往用不上，有點殺雞用牛刀的感覺都哭。
loki 不對日志進行全文索引秩伞。通過存儲壓縮非結(jié)構(gòu)化日志和索引元數(shù)據(jù)，Loki 操作起來會更簡單欺矫，更省成本纱新。
通過使用與 Prometheus 相同的標(biāo)簽記錄流對日志進行索引和分組，這使得日志的擴展和操作效率更高穆趴。
安裝部署簡單快速脸爱，且受 Grafana 原生支持。
四未妹、下載(這個版本可用)
curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/loki-linux-amd64.zip"
curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/promtail-linux-amd64.zip"
wget https://dl.grafana.com/oss/release/grafana-7.1.0-1.x86_64.rpm
五簿废、 安裝loki和grafana
先將loki-linux-amd64.zip和grafana-7.1.0-1.x86_64.rpm 上傳到日志服務(wù)器； 193
再將promtail-linux-amd64.zip 上傳到應(yīng)用服務(wù)器 158-178
在日志服務(wù)器 上創(chuàng)建目錄
mkdir /data
mkdir /data/loki
mkdir /data/loki/{chunks,index}
mkdir /usr/local/loki
unzip loki-linux-amd64.zip
mv loki-linux-amd64 /usr/local/loki/
cd /usr/local/loki/
vim config.yaml
-------------------------
auth_enabled: false
server:
http_listen_port: 3100
ingester:
lifecycler:
address: 10.24.70.193
ring:
kvstore:
store: inmemory
replication_factor: 1
final_sleep: 0s
chunk_idle_period: 5m
chunk_retain_period: 30s
schema_config:
configs:
- from: 2021-07-01
store: boltdb
object_store: filesystem
schema: v11
index:
prefix: index_
period: 168h #每張表的時間范圍7天
storage_config:
boltdb:
directory: /data/loki/index #索引文件存儲地址
filesystem:
directory: /data/loki/chunks #塊存儲地址
limits_config:
enforce_metric_name: false
reject_old_samples: true
reject_old_samples_max_age: 168h
chunk_store_config:
# 最大可查詢歷史日期 28天,這個時間必須是schema_config中的period的倍數(shù)络它，否則報錯族檬。
max_look_back_period: 672h
# 表的保留期28天
table_manager:
retention_deletes_enabled: true
retention_period: 672h
啟動loki
nohup ./loki-linux-amd64 -config.file=./config.yaml >./loki.log 2>&1 &
安裝grafana
rpm -ivh ./grafana-7.1.0-1.x86_64.rpm
報錯：
yum install fontconfig urw-fonts -y
安裝的版本：
fontconfig.x86_64 0:2.13.0-4.3.el7
urw-base35-fonts.noarch 0:20170801-10.el7
rpm -ivh ./grafana-7.1.0-1.x86_64.rpm
systemctl daemon-reload
systemctl enable grafana-server.service
systemctl start grafana-server.service
systemctl status grafana-server.service
在應(yīng)用服務(wù)器安裝 promtail
應(yīng)用服務(wù)器158,上傳promtail-linux-amd64.zip后解壓
mkdir /usr/local/promtail
unzip promtail-linux-amd64.zip
vim promtail.yaml
------------------------
server:
http_listen_port: 9080
grpc_listen_port: 0
positions:
filename: ./positions.yaml
clients:
- url: http://10.24.70.193:3100/loki/api/v1/push
scrape_configs:
#ucenter1
- job_name: ucenter1
static_configs:
- targets:
- 10.24.70.158
- labels:
job: ucenter1
host: 10.24.70.158
__path__: /usr/local/tomcat/logs/user-center/log_error.log
啟動
nohup ./promtail-linux-amd64 -config.file=./promtail.yaml > ./promtail.log 2>&1 &
最后在grafana上配置 默認(rèn)賬號admin 密碼admin
http://172.26.189.214:3100
這個地址就是之前啟動loki的服務(wù)器地址，端口3100
{job="yszs1"}
和之前promtail.yaml配置文件中的 job: yszs1 對應(yīng)化戳。
#yszs
- job_name: yszs1
static_configs:
- targets:
- 8.142.0.103
- labels:
job: yszs1
host: 8.142.0.103
__path__: /var/shida/logs/ys/log_error.log
5 其他
再見笨重的ELK单料！這套輕量級日志收集方案要火！
https://mp.weixin.qq.com/s/lXm-Jm7ogCMtdeQBAOOO5g
