概要
周五發(fā)現(xiàn)在各個線上的環(huán)境中摄职,有個目錄中存了大量的日志信息,非常的占用磁盤空間获列,經(jīng)過查看發(fā)現(xiàn)是由于之前在建立由Supervison管理的任務(wù)時谷市,各個進程的日志管理配置不統(tǒng)一導(dǎo)致。有的日志200M有的500M击孩,有的日志數(shù)量5個也有30個的迫悠。為了便于管理并且節(jié)省磁盤空間,準備將所有的日志設(shè)置為每200M分隔一次巩梢,共5次创泄。
在完成該工作的過程中需要了解以下幾點:
1、supervisor的使用
2括蝠、sed替換匹配模式之后的一整行
3鞠抑、awk和xargs的聯(lián)合使用
Supervisor簡單介紹
Linux的后臺進程運行有好幾種方法,例如nohup忌警,screen等搁拙,但是,如果是一個服務(wù)程序法绵,要可靠地在后臺運行箕速,我們就需要把它做成daemon,最好還能監(jiān)控進程狀態(tài)礼烈,在意外結(jié)束時能自動重啟弧满。Supervisor就是用Python開發(fā)的一套通用的進程管理程序,能將一個普通的命令行進程變?yōu)楹笈_daemon此熬,并監(jiān)控進程狀態(tài)庭呜,異常退出時能自動重啟。
在使用Supervisor時犀忱,可以隨時使用Supervisor的客戶端Supervisorctl來管理進程募谎,查看狀態(tài),重啟阴汇,停止等数冬。
supervisor在EPEL源中,使用yum安裝需要先安裝EPEL源
[root@localhost ~]# yum install supervisor
[root@localhost ~]# rpm -ql supervisor
/etc/logrotate.d/supervisor
/etc/rc.d/init.d/supervisord
/etc/supervisord.conf
/usr/bin/supervisorctl
/usr/bin/supervisord
修改配置文件并且創(chuàng)建被其管理的進程,可以直接在主配置文件中定義各個進程拐纱,但是在生產(chǎn)環(huán)境中我們經(jīng)常要有許多進程需要被管理铜异,那么通常會在一個子配置文件夾中,為各個進程分別創(chuàng)建各自的配置文件秸架,那么我們需要在主配置文件中定義子配置文件夾目錄:
[root@localhost ~]# vi /etc/supervisord.conf
[include]
files = /etc/supervisor/*.ini
新增以上兩行揍庄,文件可以使用ini結(jié)尾或者是conf結(jié)尾的文件
[root@localhost ~]# vi /etc/supervisor/program1.ini
[program:program1] #定義該進程的在supervisor中的名稱
command=/www/site/program/program_name arg1 arg2 #定義該進程啟動的腳本命令
autostart = true #在supervisord 啟動的時候也自動啟動
startsecs = 5 #啟動 5 秒后沒有異常退出,就當作已經(jīng)正常啟動了
autorestart = true #程序異常退出后自動重啟
startretries = 3 #啟動失敗自動重試次數(shù)东抹,默認是 3
redirect_stderr = true #把 stderr 重定向到 stdout蚂子,默認 false
stdout_logfile_maxbytes = 200MB #stdout 日志文件大小,默認 50MB
stdout_logfile_backups = 5 #stdout 日志文件備份數(shù)
stdout_logfile = /www/site/logs/program1.log #stdout 日志文件
定義完進程之后缭黔,啟動supervisor食茎,若autostart = true,啟動supervisor時該進程也會自動啟動,啟動后就可以使用supervisorctl進程管理各個進程馏谨。
[root@localhost ~]# service supervisord start
[root@localhost ~]# supervisorctl status
program1 RUNNING pid 24128, uptime 0:01:56
在日常工作中别渔,需要用到的最多的就是需要新增一個supervisor管理的進程時,我們在增加完進程的配置文件之后田巴,不需要重啟supervisor钠糊,使用supervisorctl即可完成上線工作挟秤。
[root@localhost ~]# supervisorctl update new_program_name
[root@localhost ~]# supervisorctl start new_program_name
當然也會遇到批量重啟任務(wù)的時候壹哺,比如說某個研發(fā)GG改了最底層的某個進程內(nèi)容,那么需要重啟所有的進程才會恢復(fù)正常艘刚,可以使用all來完成
[root@localhost ~]# supervisorctl restart all
[root@localhost ~]# supervisorctl
supervisor> restart
Error: restart requires a process name
restart <processname> Restart a process. #重啟單個進程
restart <processname> <processname> Restart multiple processes #重啟多個進程
restart all Restart all processes #重啟所有進程
像我們這次需要完成的任務(wù)是將所有進程存留的日志格式規(guī)范化管宵,需要更新所有進程的配置文件,那邊我們需要先對所有進程進程update攀甚,然后在start一次箩朴,指的注意的是,我們在update已經(jīng)started的任務(wù)時秋度,supervisor會先停止該進程炸庞,然后進行更新,更新完之后并不會自動啟動進程荚斯。所以我們就需要了解到進程什么時候可以update埠居,執(zhí)行update停止進程時不會影響到線上業(yè)務(wù)時才可以執(zhí)行,要不然就要上演一場從更新進程到跑路的大戲了事期。滥壕。。
[root@localhost ~]# supervisorctl update all
[root@localhost ~]# supervisorctl start all
使用sed規(guī)范所有進程配置文件的日志配置
1兽泣、所有日志均存在 /etc/supervisor/*.ini中
2绎橘、定義日志大小的參數(shù)stdout_logfile_maxbytes
3、定義日志數(shù)量的參數(shù)stdout_logfile_backups
綜合以上三點來看雖然有幾十個進程配置文件唠倦,所幸還是有規(guī)律可選称鳞,所以完成起來也算簡單涮较,這時候就體現(xiàn)了sed的強大之處,基礎(chǔ)知識不扎實這個時候就要求助于google了冈止。
[root@localhost ~]# sed -i "s/^.*stdout_logfile_maxbytes.*$/stdout_logfile_maxbytes = 200MB/g" /etc/supervisor/*.ini
[root@localhost ~]# sed -i "s/^.*stdout_logfile_backups.*$/stdout_logfile_backups = 5/g" */etc/supervisor/.ini
[root@localhost ~]# supervisorctl update all
[root@localhost ~]# supervisorctl start all
#兩次整行替換法希,然后更新配置文件后啟動所有進程,大功告成~靶瘸!
更新完進程之后苫亦,還有一個問題就是處理目前已經(jīng)產(chǎn)生的日志了,在之前有很多的日志備份最多的存在30份怨咪,雖然更新了進程將所有的日志設(shè)置為5份屋剑,但是在不確定supervisor會不會回滾之前已經(jīng)產(chǎn)生的多余日志的情況下還是手動刪除為好,秉持著能用一條命令的情況下絕不使用兩條命令诗眨,執(zhí)行以下刪除命令即可:
[root@localhost ~]# ls /www/site/logs/*log.* | awk -F . '{if (NR>1){if ($NF>4)print $0}}' | xargs -t -n 1 rm -rf
#日志命名格式為
#program1.log
#program1.log.1
#program1.log.2
...
#program1.log.30