名詞解釋
項(xiàng)目(Project)
日志服務(wù)中的資源管理單元箩做,用于資源隔離和控制
日志空間(Logstore)
是日志服務(wù)中日志數(shù)據(jù)的采集焕济、存儲(chǔ)和查詢(xún)單元。
機(jī)器組
需要采集數(shù)據(jù)的服務(wù)器。需要先在服務(wù)器中安裝 Logtail客戶(hù)端妇智。
機(jī)器組心跳
反應(yīng)采集日志的服務(wù)器與日志服務(wù)之間的通訊是否正常
Logtail客戶(hù)端
客戶(hù)端根據(jù)日志路徑值戳、日志規(guī)則等 Logtail配置 在服務(wù)器中采集日志劫流,并將日志發(fā)送到 日志空間庇楞。
Logtail配置
記錄日志采集的規(guī)則,包括 日志路徑极祸、日志格式慈格、日志時(shí)區(qū)等。
配置流程
1. 根據(jù)阿里云的 接入數(shù)據(jù) 流程遥金,將 項(xiàng)目浴捆、日志空間、機(jī)器組稿械、Logtail配置 設(shè)置好选泻。
2. 機(jī)器組中包含服務(wù)器裝上 Logtail客戶(hù)端。
如果服務(wù)器是阿里云ECS,同時(shí)ECS和日志服務(wù)的Project位于同一區(qū)域页眯,則可以使用該方式梯捕。
- 通過(guò)公網(wǎng)下載 Logtail 安裝器
wget http://logtail-release-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/linux64/logtail.sh -O logtail.sh;chmod 755 logtail.sh
- 使用auto參數(shù)進(jìn)行安裝。
./logtail.sh install auto
- 添加阿里云賬號(hào)白名單
如果ECS與日志服務(wù)不屬于同一個(gè)阿里云賬號(hào)窝撵,則需要執(zhí)行該步驟
現(xiàn)在服務(wù)器安裝了數(shù)據(jù)采集工具Logtail傀顾,服務(wù)器能將日志向外發(fā)送了。由于我們不希望不屬于我們的賬號(hào)能拿到這個(gè)日志碌奉,所以需要配置一個(gè)類(lèi)似白名單的東西短曾,告訴Logtail哪個(gè)阿里云賬號(hào)能從我這里獲取日志(當(dāng)前ECS所屬阿里云賬號(hào)無(wú)需手動(dòng)加入白名單)。
登錄日志服務(wù)所在阿里云賬號(hào)赐劣,在個(gè)人中心中找到并復(fù)制 賬號(hào)ID嫉拐。進(jìn)入待采集數(shù)據(jù)的ECS,創(chuàng)建白名單:
# 把 ${AliUid} 替換為上面復(fù)制的 賬號(hào)ID
touch /etc/ilogtail/users/${AliUid}
更多白名單配置上的問(wèn)題魁兼,查看:參考文檔
配置完后婉徘,需登錄阿里云的日志服務(wù),查看該機(jī)器組有沒(méi)有心跳璃赡。
無(wú)心跳的情況可通過(guò)Logtail快速診斷工具查找原因判哥。文檔
3. 至此準(zhǔn)備工作已完成
進(jìn)入日志服務(wù)->項(xiàng)目->日志空間献雅,即可查看配置結(jié)束后的新增的數(shù)據(jù)碉考。
導(dǎo)入歷史日志文件
Logtail默認(rèn)只采集增量的日志文件
Logtail基于事件進(jìn)行文件采集,事件通常由監(jiān)聽(tīng)或定期輪詢(xún)文件修改產(chǎn)生挺身。除以上方式外侯谁,Logtail還支持從本地文件中加載事件,以此驅(qū)動(dòng)日志采集章钾。歷史文件采集就是基于本地事件加載實(shí)現(xiàn)的功能墙贱。具體導(dǎo)入步驟查看:導(dǎo)入歷史日志文件
注:導(dǎo)入成功后,Logtail的診斷頁(yè)面贱傀,會(huì)出現(xiàn)一條錯(cuò)誤類(lèi)型為 LOAD_LOCAL_EVENT_ALARM 的錯(cuò)誤惨撇。這是正常現(xiàn)象府寒,文檔中有寫(xiě)明:
由于加載本地配置屬于特殊行為魁衙,Logtail會(huì)向服務(wù)器發(fā)送LOAD_LOCAL_EVENT_ALARM以提醒用戶(hù)。